爬虫泛滥：爬现金贷窃取数据，支付宝和微信也遭殃(2)

　　聚信立爬取数据后，提供给客户的“个人用户报告”极为细致，包括通话号码、次数、时长等信息。

　　“聚信立爬取一次的价格，是1到3块，但也成了现金贷公司的标配，聚信立赚了很多钱。”平元鑫称。

　　“你就算吧，每放款一个用户，就得支付聚信立1到3元，如果用户去其他平台借款，还要再收一次。”平元鑫认为，“聚信立成了现金贷时代的最大赢家之一。”

　　某种程度上，爬虫技术撑起了现金贷的黄金时代，为其提供大量的风控养料。

　　但爬虫行业的好日子，并没有持续太长时间。

　　在聚信立的领头下，大量的公司开始涌进——市场热闹起来。

　　“成立的公司越来越多，但大部分都是代理商，真正有爬虫技术的，也就30多家。”金苑称。

　　为了抢夺用户，行业开始打价格战，甚至免费。

　　“比如，融360和富数，都是你买他家产品，可能会免费附赠爬虫服务。”金苑称，“很多公司卯足了劲，开始追赶聚信立，抢夺客户。”

　　爬虫产品同质化严重，客户挑选的标准，自然变成“谁家便宜用谁”。

　　突然间，一门好生意，变得挣钱都难了，爬虫行业陷入艰难存活的旋涡中。

　　“尽管爬虫没有门槛，找几个技术就可以干，却是一个脏活累活。”从事爬虫工程师三年的韩苏称，“几乎每天，爬虫和反爬之间都在战斗。”

　　每天早上一坐到公司，打开电脑，韩苏就知道，今天的战争开始了。

　　“谁都不想把自己的数据免费贡献出来，为了反爬，他们也会动用一切手段。”韩苏称。

　　比如，对于单一IP和设备频繁登录，直接封掉；网站调整为动态的，只有正常用户行为，才能调取数据等等。

　　“比如以前一个移动商城只要一个短信验证码，后来升级了，验证码又加了一个，我们就得重新写爬虫代码。”韩苏称。

　　在爬虫公司，后台会有一套监控系统，可以实时看成功失败的比例。

　　而韩苏需要每个小时去查看一次，一旦失败率上升，就要马上找到原因，并处理。

　　近来机器学习、canvas指纹等新技术，也被频繁用到反爬软件里，爬取难度越来越大，数据越来越不稳定。

　　“爬虫开始变成一个重运营、重技术的活。”韩苏称，“数据稳定性，成为爬虫公司最大的宣传点。”

　　“前有伏兵（反爬），后有追兵”，韩苏如此形容夹缝中的爬虫行业。

　　03 未来之路

　　今年6月1日，《网络安全法》开始实施，无比严苛：

　　未经授权爬取用户手机通讯录超过50条记录，公司法人最高可获刑3年；

　　未经授权读取用户公积金社保记录的超过5万条的，公司法人最高可获刑7年。

　　整个大数据行业面临生死劫，上万数据接口关停，大量数据源被生生切断，行业90%的公司面临淘汰。

　　而有意思的是，在这轮清洗中，爬虫技术却成了最后的救命稻草。

　　“安全法规定，获取用户的数据，必须授权，而爬虫就打了一个擦边球。”某大数据公司的CEO称，

　　“爬虫需要用户授权用户名和密码，只是大部分用户不知道，爬取的数据如此具体，将他所有数据翻遍。”

　　但激烈竞争依然存在，爬虫行业未来的命运又将如何？

　　很多爬虫公司为了存活，各种产品开始出现，如同业爬虫、支付宝爬虫，而摩羯科技的最新产品，是爬微信。

　　但多位业内人士称，这样的竞争方式，不是“康庄大道”，而是“羊肠小道”。

　　业内人士称，现金贷早期，客户资质都比较好，后期骗贷和欺诈的都来了，只靠简单的爬虫技术，很难挡住他们。

　　“爬虫公司要提供更多价值，比如，给对方的风控产品，定制化数据，或者自己也可以建立风控模型。”金苑称。

　　已有几家头部公司开始了转型的尝试，一家爬虫公司正准备将所有数据整合，做一整套的现金贷风控解决方案。

　　而老大哥“聚信立”，也有这方面的尝试。

　　“现在最关键的能力，不是建模能力，而是整合和清洗能力。”聚信立的CEO罗皓对一本财经称，“因为数据维度越来越多，电商、支付等信息，可能都关系到“还款能力，需要整合起来。”

　　但这条路，也不是很好走，因为很多大数据公司和风控产品公司，都在这块领域抢肉吃，爬虫公司又如何和他们竞争？

　　部分从业者对于爬虫技术的未来命运不太乐观，在大数据行业，没有独家数据源的公司，都难以存活，何况没什么门槛的爬虫技术？

　　“孤立无支的爬虫技术，竞争力越发微弱。被收购，成为大数据公司或者大公司的一个爬虫部门，也许也是一条出路。”金苑称。

　　“存在即是合理”，也有部分从业者比较乐观，现金贷的黄金时代，他们永不会缺业务。

　　在大数据的涅槃重生时代，爬虫行业也到了一个关键节点。

　　是深耕行业，还是剑走偏锋，他们可能会走向两条截然不同的路。

　　（应受访者要求，本文部分人名为化名）

编辑：一本财经