读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

标签:反爬虫

浅谈Python网络爬虫

小数点   2017-05-02   大数据技术

作者: ArkTeam/XHJ 一 相关背景 网络爬虫(Web Spider)又称网络蜘蛛、网络机器人,是一段用来自动化采集网站数据的程序。如果把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘...

阅读全文

普通反爬虫机制的应对策略

大象会跳舞   2017-04-27   大数据技术

爬虫与反爬虫,这相爱相杀的一对,简直可以写出一部壮观的斗争史。而在大数据时代,数据就是金钱,很多企业都为自己的网站运用了反爬虫机制,防止网页上的数据被爬虫爬走。然而,如果反爬机...

阅读全文

数据时代的反爬虫绝技

雪姬   2016-03-22   Python

网络爬虫已经成了很普及的网络技术,会代码的可以自己捣鼓一个高级的“人工智能”爬虫,不会的也可以从网上下载一个开源的,然后找个机器或一些代理服务器,就可以肆无忌惮的薅羊毛了。轻的是...

阅读全文

常见的反爬虫和应对方法

蝙蝠侠   2016-03-20   Python

作者:白水大人 1.常见的反爬虫 这几天在爬一个网站,网站做了很多反爬虫工作,爬起来有些艰难,花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下...

阅读全文