上周帮朋友蹲杭州拱墅区的一居室，刷某租房平台刷到凌晨两点，看到个离地铁口三百米的两室一厅，租金比同小区便宜八百，刚点进去填联系方式，页面就跳成了”该房源已被预订”。
朋友骂了半小时平台是骗子。
后来做中介的学长跟我们说，根本不是平台假房源——是有爬虫盯着平台的新上房源接口，只要有符合”低价、地铁近”标签的房源放出来，脚本一秒钟就能把联系方式爬走，中介直接联系房东截胡，等普通用户刷到的时候，早就被订完了。
你看，这就是你天天能碰到，但从来没意识到的网络爬虫。
你每天都在跟网络爬虫打交道，只是你不知道
很多人一听到网络爬虫，第一反应是穿黑卫衣的黑客，在出租屋里偷人家公司的核心数据。真的不是。
说白了，爬虫就是个自动帮你刷网页的脚本。你手动翻网页，一页页看，把你要的信息记下来，这个动作重复一万次，就是爬虫干的事。
比如你平时用的比价插件，打开某电商平台的商品页，旁边自动弹出来”这个商品在隔壁平台便宜20块”，它怎么知道的？就是后台的爬虫每隔一段时间，就把各个平台的同款商品价格爬下来，整理好存在数据库里，你打开页面的时候直接调出来给你看。
还有你手机上的天气APP，怎么知道你家楼下今天下午三点要下雷阵雨？就是爬虫定期爬气象部门公开的实时观测数据，更新到自己的APP里，总不能是气象局的工作人员蹲在你家楼下测温度吧？
甚至你每天用的百度、谷歌，本质上就是全世界最大的网络爬虫集群。它每天派几十亿个小脚本，在全世界的公开网页上爬，把所有网页的标题、内容、关键词都存到自己的索引库里，等你搜”杭州拱墅区租房”的时候，它才能在零点几秒的时间里，把所有相关的网页给你列出来。要是没有爬虫，你搜东西得翻遍全世界的网站，找到明年都找不到。
大家骂的”坏爬虫”，根本不是爬虫的全部
现在网上一提爬虫就骂，其实骂的是那些没规矩的爬虫，不是爬虫本身。
就像你家里的菜刀，你用来切菜做饭，那就是好工具；你要是拿着菜刀去抢银行，那肯定要被抓，但你不能说菜刀本身是坏的对吧？
之前有个做手工银饰的姑娘，想知道小红书上大家现在喜欢什么样的银饰款式，之前她每次都要手动翻两个小时的笔记，把高赞的款式记下来，眼睛都看花了。后来她找学计算机的朋友写了个特别简单的小脚本，只爬公开的笔记标题和点赞数，不碰人家的用户隐私，也不高频次发请求把平台服务器搞崩，花了三天时间就整理出来了”碎银几两手链””小雏菊戒指”这些高赞选题，照着做的款式，第一个月就卖了三万多。
这哪是偷啊。这就是把你本来要熬三个大夜手动干的重复活儿，让机器帮你省了而已。
我自己之前做选题的时候，也写过个小爬虫，把我自己公众号后台的历史文章数据爬出来，统计哪个标题的打开率最高，哪个时间段发文章流量最好，省了我好几个小时手动导表格的时间。这种爬虫，谁会骂啊？
哪些爬虫是真的该骂？真不是你想的那样
真该骂的爬虫，其实都有两个共同点：要么偷你的隐私，要么抢你本来该得的资源。
比如你刚在求职平台上填了简历，留了自己的手机号，转头就接到一堆培训机构的推销电话，问你要不要报编程班、考证书。这就是爬虫把你留在平台上的联系方式爬走了，打包卖给了第三方的机构。你说你气不气？
还有抢演唱会票的时候，你提前半小时蹲在售票页面，手都放在鼠标左键上了，到点刷新的瞬间，页面直接跳成”全部售罄”。转头打开二手平台，同款票加价一千五，黄牛挂了几百张。你以为是黄牛手速快？根本不是。人家的爬虫脚本在放票的0.01秒就把票锁了，你手动点击的速度，连人家爬虫的零头都赶不上。
还有那种盯着人家小网站的爬虫，一秒钟发几百个请求，把人家的服务器搞崩了，普通用户半天都打不开网页，就为了爬人家网站上的几篇文章，搬到自己的号上赚流量。这种爬虫，换谁谁不骂？
很多人觉得”只要爬了就算违法”，真的不是。
比如你爬的是公开的、不需要登录就能看到的信息，也不高频次请求把人家服务器搞崩，也不碰人家的隐私数据，其实跟你手动刷网页没区别。就像你去公园逛，看到路边的公示栏写着今天的停水通知，你把它拍下来告诉邻居，没人会说你违法。
但你要是偷偷翻人家的小区住户档案，把人家的家庭住址、手机号记下来卖给别人，那肯定不行啊。
上次跟那个做银饰的姑娘聊天，她说现在很多人觉得爬虫是洪水猛兽，其实根本没必要。
工具本身没有对错。
你用它来省自己的时间，不碰别人的隐私，不抢别人的资源，那它就是你最好用的小帮手。
至于那些没规矩的坏爬虫？
该管的管，该罚的罚。
但别一棍子把所有爬虫都打死啊。