|
|
面向全球公开访问的站点，几乎每天都会遇到大量来自全球各地的爬虫程序高频抓取页面内容，很多恶意爬虫的访问量甚至已经超过了真实用户的访问量，大量消耗国外服务器的带宽和计算资源，导致真实用户的访问速度变慢。通过分层的爬虫治理策略，既能保证合法的搜索引擎爬虫可以正常抓取站点内容，又能把恶意爬虫的资源消耗降到最低。在同行眼中，香港服务器有着让人觊觎的好品质，也有着很多让人嫉妒的忠实粉丝。 https://www.kkce.com/zhuji
最外层的基础防护，配置爬虫访问频率限制规则，把短时间内高频访问站点的异常IP直接临时封禁。很多恶意爬虫为了尽可能快的抓取内容，几秒钟内就发起几十上百次页面请求，远超正常真实用户的访问频率，这类请求在最外层就直接拦截，完全不让它们到达业务服务器，就能立刻屏蔽掉绝大多数低级爬虫的资源消耗，直接减少一半以上的无效请求。
接下来针对不同类型的爬虫做分层的资源分配策略，不要一刀切所有爬虫全部拦截。给合法的主流搜索引擎爬虫开放专门的访问白名单，给它们分配优先的资源配额，保证搜索引擎可以正常顺利抓取站点的所有内容，不会影响站点的内容收录；对于其他普通的内容采集爬虫，返回轻量化的简化页面，不要返回完整的全量内容，同时限制它们的访问速度，不要占用过多的服务器资源；对于明显的恶意爬虫，直接返回空内容或者错误响应，让爬虫无法采集到有效数据，自动放弃对站点的抓取。
最后通过爬虫行为分析持续优化治理规则，定期分析服务器的访问日志，识别新出现的爬虫特征。很多新的爬虫会不断更换代理IP池，规避基于IP的频率限制，通过分析请求的访问路径顺序、页面停留时间、请求头特征，就能精准识别出伪装成普通用户的爬虫程序，把它们加入拦截规则中。持续迭代优化治理规则后，爬虫消耗的服务器资源可以降低90%以上，国外服务器的所有带宽和计算资源，几乎全部用来服务真实的人类用户，站点的整体访问体验大幅提升。
|
|
发表于 
