恶意蜘蛛耗尽服务器资源，不如全杀了

点击查看原文

原文作者：晨岩 | 来源：登山亦有道

搜索引擎的爬虫可以加快网站的收录，注重SEO还是需要好好维护这一方面的，但是除了搜索引擎的爬虫还有各种莫名其妙的爬虫会来访你的网站，它们既不遵循robots.txt文件中的内容也不限制扫描的频率，导致网站 …