对不起 网站并非受到人为攻击 而是受到搜索引擎蜘蛛/机器人的狂爬

admin 小小事情 小知识对不起 网站并非受到人为攻击 而是受到搜索引擎蜘蛛/机器人的狂爬已关闭评论字数 390阅读模式

对不起 网站并非受到人为攻击 而是受到搜索引擎蜘蛛/机器人的狂爬

昨天发现网站不能访问,cpu被挤爆了,在没有很详细的查看访问日记的情况下,发表了一篇”不要再攻击我的这个网站了 好吗?大家都不容易啊“的文章,并且还把责任怀疑到了,某博主身上,还跑到人家那里去留言了(出丑啊,您就原谅我吧,对不起啊,对不起….,如果您觉得有必要还您清白,我再写一篇道歉的声明….)

从早上忙了一整天,排查问题,联系空间商,在晚上十点半的时候才睡醒,然后打开系统访问日志一看,都是蜘蛛惹的祸。目前已经在robots.txt写了一些限制,排除了一些无用蜘蛛的狂爬以及常用蜘蛛的频繁爬取。

最后呢,再次向被我误会的那位大人不计小人过的站长,说声对不起。这里呢,也提醒我,凡事在做详细的分析排查之前,不能轻易下结论。不然伤害到别人,是很难挽回的。

以上是对不起 网站并非受到人为攻击 而是受到搜索引擎蜘蛛/机器人的狂爬全文

 

 
admin
  • 本文由 admin 发表于 2012年11月10日 09:23:41
  • robots 屏蔽
  • robots书写规则
  • 搜索引擎蜘蛛 robots