AhrefsBot Ezooms DoCoMo Spider YandexBot垃圾搜索引擎爬虫消耗流量

2013年7月14日 发表评论 阅读评论

因为这段时间在我的网站日志里出现新的爬虫叫AhrefsBot。因此通过百度搜索也没有相关这种特殊的新爬虫对SEO人员的关注所以我就通过AhrefsBot才作了一个了解。
不过在夫唯老师论坛里有一个关于这样的帖子,他是这样说的:
谁知道这是爬虫是干嘛的吗?我看最近几天来得好频繁?又不是百度,又不是谷歌,到底是什么公司什么网站的爬虫啊?ta
他总是爬一些没有链接过去的目录,汗死!!!!!!!!
看那帖子的回复很多人都不知道这是到底是不是一个新的爬行蛛蛛。帖子的回复是百度与谷歌变种,杂交出来的、幻觉是不是、你确定是蜘蛛等。
也许从这里可以知道这到底这个代码是干什么?是完全不知道,还是。。。但我相信肯定有人知道这个的工具,但不知道他在日志也有这样的代码,也可能没有出现在他的日志里,但也许可能没有发现。
经过搜索引擎我得到一个更有利的消息是有一个叫树叶BLOG写了一遍关于这个“AhrefsBot蜘蛛”看法“禁止某些搜索引擎机器人和特定IP用户访问网站”是关于不是主流的搜索引擎来访问我们的网站带来不必要的损耗服务器的流量与把他如何屏蔽。也许可能是英文版他可能还不知道这主要的用途是什么。
当然这也是我的猜测,我通过Google翻译输入域名我才发现这是一个很好的网站外链链接查询工具。而且是超强的外部链接与竞争分析工具,也是SEOer在得知雅虎关闭外链查询工具后寻找外部链接查询工具。不过段时间又听说百度也马上推出外链工具,效果怎么样对于SEOer都在猜测。经过进行分析Ahrefs于SEOmoz外部链接工具同样是提供站长外部链接,经过二个对同一个域名查询结果还是有一点差距,但总体来说也都是分析外部链接SEO工具中最好的查询网站外链,做为站长利用SEO工具经过多次分析判断这才是重点,至于各方面的优缺点更重要的是对比判断

从早上忙了一整天,排查问题,联系空间商,在晚上十点半的时候才睡醒,然后打开系统访问日志一看,都是蜘蛛惹的祸。目前已经在robots.txt写了一些限制,排除了一些无用蜘蛛的狂爬以及常用蜘蛛的频繁爬取。

robots.txt屏蔽代码

User-agent: AhrefsBot/4.0
Disallow: /

User-agent: Ezooms/1.0
Disallow: /

User-agent: Sogou web spider/4.0
Disallow: /

User-agent: Sogou web spider
Disallow: /

User-agent: Sogou spider
Disallow: /

User-agent: DoCoMo Spider
Disallow: /

User-agent: bingbot/2.0
Crawl-delay: 36000

User-agent: YandexBot/3.0
Crawl-delay: 36000


转载请注明来自:[MSN Spaces]http://msn.shandian.biz/548.html

  1. 本文目前尚无任何评论.