欢迎关注“创事记”的微信订阅号:sinachuangshiji
文/戈森
从今年开始,爬虫行业竞争越发激烈。
一些公司开发出“骨骼清奇”的爬虫产品,开始抢夺市场。
最近,现金贷行业出现一种“同业爬虫”产品,可以直接将其他现金贷平台的放款额和风控数据爬出来。
“别人放多少,我就放多少,自己都不用做风控了。”某产品使用者称,这一“风控奇招”在圈内开始悄然盛行。
大数据行业激烈竞争,爬虫在其中越发势力微薄,他们只能靠这些剑走偏锋的产品突围了吗?
01 爬虫凶猛
“同业爬虫?”第一次听到这个词,王浩一脸懵逼。
两个月前,王浩的公司转型现金贷,他在市面上四处寻找风控系统和数据源,此时,摩羯科技的商务人员,给他推荐了这个最新的“爬虫产品”。
“对方说,这是一款特别讨巧的产品,用了之后,你基本可以不用其他风控。”当王浩明白其背后的逻辑后,他表示不得不服。
如何检验借款人是一个好用户?
最简单的办法,就是看这个用户在其他现金贷平台上的授信额度,“别人放款多少,我就放款多少”。
王浩称,这就相当于别的现金贷平台,帮你做了风控。
同业爬虫是一款专门爬取现金贷数据的产品,只需要你提供其他现金贷平台的用户名和密码,就可以爬取用户的所有信息。
“这个产品,最早是我们给玖富定制的,他们使用了一年,爬过100多家同业的数据。”摩羯科技的商务人员称,后来发现产品运行不错,所以决定变成产品大规模推广。
具体怎么做到的?
摩羯科技的商务人员,用爬取某个现金贷平台举例:
而返回的结果,主要是以下信息:
如果条件允许,甚至会有更为细致的数据维度:
“也就是说,你在其他现金贷平台注册填写的所有信息,都可能被爬出来。”王浩称。
“只需用户授权账号和密码,成功率在85%以上。”魔蝎科技的商务对一本财经称。
而产品说明中,同业爬虫的优势被描述得极为诱人:相对于电商、社交等弱数据而言,同业数据本身属于金融范畴,最能反映个人近期的征信信息。
在没有足够能力做大数据风控的情况下,同业爬虫可借鉴多平台的风控经验。
“这个方式太野蛮了,直接把别人家的风控成果窃取。”王浩称,“但是这个方式直接把同业数据全部掠夺,粗犷多了。”这和信用卡“以卡办卡”的道理很像,如果你有别的信用卡,我就给你发卡。
产品一出现,不少准备做现金贷的平台就蜂拥而至。
在人人都做现金贷的时代,这个“剑走偏锋”的技术,确实省去风控环节,让项目得以快速上线。
而更多有趣的爬虫产品,在不断推向市场。
大家都知道支付宝的数据“金贵”,市面上开始出现一些专门爬取支付宝数据的产品。
摩羯科技的支付宝爬虫产品操作极为简单,只需要用支付宝扫描一下登录“二维码”,就可登录。
而后台的爬取结果无比细致:支付宝用户的真实姓名、手机号、收货地址、近一年的购物信息,甚至详细到每笔交易的金额。
“这个产品挺可怕的,我和商务在测试这个产品时,中间去小卖部买了包烟,回来就发现爬取了这次交易。”某业内人士称。
爬虫产品远远不止这些。
某大数据公司的业务员称,公司最近开发了新项目,可爬取旅行网站、外卖平台、地图、共享单车等平台的个人信息,甚至可以定制化抓取,拿到第一手鲜活原始数据。
爬虫越发凶猛,而其背后的原因,要从爬虫行业的生产现状说起……
02 光明与黑暗
爬虫技术也并不神秘,无非分为三步:“爬”上网页、“铲”下数据,进行加工清洗。
爬虫有光明的一面。
类似百度谷歌这样的搜索引擎,其核心逻辑,也是爬虫——爬到用户要的关键词,再展现搜索结果。
“让有价值的东西,更好地呈现,这是爬虫最大的功劳。”一爬虫公司的联合创始人金苑称。
爬虫也有黑暗的一面。
大数据时代,爬虫成为低成本获取数据的捷径,经常沦为“黑暗武器”。
2014年,互联网创业高潮中,爬虫技术迎来了一次小爆发。
“爬虫生态链里有这么一类公司,专门替人爬虫,增加APP的虚拟访问量。”金苑透露,1万浏览量,报价10元。
“很多公司去竞争对手网站或APP上爬数据,然后拿过来自己用。”金苑称。
在2016年,有媒体曝出,大众点评网起诉百度,称百度未经许可,使用爬虫技术从“大众点评网”上大量获取用户点评信息,用于自家的百度地图及百度知道产品。
最终一审判决,要求百度停止不正当竞争行为,并赔偿323万。
光明与黑暗的交集中,爬虫行业在2016年,才迎来了真正爆发。
2016年,现金贷行业成为爬虫产品的最大买家。
爬虫公司为其提供五花八门的服务,例如爬取淘宝、社交网络、网上银行等。
“不管是网站还是APP,只要有账号密码就可以爬,连央行的征信报告都能爬。”某数据负责人声称,“技术好,就没有爬不到的数据。”
这其中最火的产品,是通话记录(运营商数据)爬取。
在这一波浪潮中,崛起了众多爬虫公司,其中做得最大的是“聚信立”。
“爬取通讯录,主要是用于用户失联后,可以找他们的亲朋好友催款。”某平台的风控负责人平元鑫称,“通讯录的伪造成本较低,将联系人改一个号码就行,有时候可能会失效。”
而通话记录的数据,则可靠得多。
而爬取方式也很简单,只要用户提供手机号码和服务码,就可登陆各大运营商的系统爬取。
编辑:一本财经
卡戴珊诞下女婴TT深陷出轨丑闻守护身边 网友:感谢你离开哈登
科勒卡戴珊当妈妈啦。 两位知情人士告诉CNN,卡戴珊已经生下一个女孩。 卡戴珊的男友以及女婴的父亲是克里夫兰骑士球员特里斯坦