防爬虫，简单来说，就是在尽量减少对正常用户的干扰的情况下尽可能的加大爬虫的成本，而反防爬虫，或者说制造隐蔽性强的爬虫，就是尽量模拟正常用户的行为。

　　1，控制单ip/账号频率，挂私有代理来爬的就不说了，大家都会用，但是对于一般人来说，几万ip差不多是极限了，所以一个ip还是得多次请求，账号同理，而控制了爬取速度，则意味着爬完一圈需要更多时间，时间都是成本。

　　2，控制爬取策略，如果简单的只对目标数据进行爬取，那么如果反爬系统对访问概况和用户行为进行分析，其实很简单就能判定爬虫的那堆ip:你除了这堆数据什么都没访问，一看就不是正常用户。

　　当然策略这个东西，就需要更多的博弈了，爬虫要增加迷惑度，需要去访问一些无关的东西，较后是研究正常用户的访问流程，然后模拟一遍，再者，控制速度，毕竟反爬系统的统计区间是肯定有限制的，不可能拿一个月的数据都分析一遍找出爬虫。

　　通常，人们总是将数据泄露和隐私侵犯事故与黑客攻击联系起来，黑客们利用特定的漏洞来窃取信息，但是，别忘了，更多的数据泄露事故常常是疏忽和意外造成的。

　　当今的威胁形势可能令人筋疲力尽，尤其是负责保护公司较重要数据的IT管理员。

　　黑客只需要正确一次就可以突破企业的防线，造成严重损失，而IT管理员则必须全力抵抗持续不断的攻击，不容有失，压力之大可想而知，这可能就是为什么近2/3的网络安全专家已考虑辞职或完全离开该行业的原因。

　　微软的一项分析发现，网络钓鱼诈骗今年增长了250%，而且，这些技术正在变得越来越复杂，这使它们既难以识别，也更成功地实施。

　　这些电子邮件可以使公司收件箱泛滥成灾，而黑客却很少，同时，单击单个员工可能会破坏大量公司数据。