搜索引擎蜘蛛是搜索引擎的一个自动程序。它的作用是访问互联网上的网页、图片、视频等内容，建立索引数据库，使用户能在搜索引擎中搜索到您网站的网页、图片、视频等内容。...
搜索引擎蜘蛛是搜索引擎的一个自动程序。它的作用是访问互联网上的网页、图片、视频等内容，建立索引数据库，使用户能在搜索引擎中搜索到您网站的网页、图片、视频等内容。
一般用法为“ spider+URL”，后面的URL(网址)是搜索引擎的痕迹，如果要查看某搜索引擎是否来爬取过你们的网站，可查看服务器的日志里是否有该URL,同时还能查看来的时间、频率等…
1、百度蜘蛛
百度蜘蛛最新名称为Baiduspider，最常用的是Baiduspider和Baiduspider-image（抓取图片）这两种，常见百度旗下同类型蜘蛛还有下面这些：Baiduspider-mobile（抓取wap）、Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）、Baiduspider-favo（百度搜藏）、Baiduspider-cpro（百度联盟）、Baiduspider-ads（商务搜索）等。
百度蜘蛛可以根据服务器的负载能力调节访问密度，大大降低服务器的服务压力。根据以往的经验百度蜘蛛通常会过度重复地抓取同样的页面，导致其他页面无法被抓取到而不能被收录。这种情况可以采取 robots协议的方法来调节。
详细参考http://help.baidu.com/question?prod_id=99&class=476&id=2996
2、360蜘蛛
360蜘蛛名称为360Spider，它是一个十分“勤奋抓爬”的蜘蛛。360蜘蛛在访问网站时，都会带上带有360Spider签名信息的UA，其形态为：
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider
详细参考https://www.so.com/help/spider_ip.html
3、神马蜘蛛（一搜搜索蜘蛛）
神马蜘蛛名称为神马Spider，是神马访问互联网，自动化抓取网页的程序。Spider抓取下网页，建立索引，使用户可通过搜索引擎搜索到互联网上的资源。
神马Spider的user-agent，是http协议中的一个属性，代表了终端的身份。神马Spider的user-agent为：Yisouspider，因为历史原因此user-agent名称将会继续使用。所以日志里面发现的Yisouspider其实就是神马搜索的蜘蛛。
详情参考https://zhanzhang.sm.cn/open/spider（需要注册登录才能查看）
4、今日头条蜘蛛
头条蜘蛛名称为Bytespider，没有测试过，据说是没有什么用，不能带来流量，屏蔽就行了
5、谷歌蜘蛛
这个争议较少，但也有说是Googlebot的。谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”，除此还发现了Googlebot-Mobile，看名字显然是抓取wap内容的。
谷歌蜘蛛属于比较活跃的网站扫描工具，其间隔28天左右就派出“蜘蛛”检索有更新或者有修改的网页。与百度蜘蛛最大的不同点是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。
详情参考http://www.google.com/bot.html
6、搜狗蜘蛛
搜狗蜘蛛名称为Sogou web spider，搜狗公司还有其它几个蜘蛛：Sogou News Spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider，德顺在日志中只发现了常见的Sogou web spider。
参考百度的robots文件，搜狗蜘蛛名称可以用 Sogou 概括，但有没有用就不知道了。
详情参考http://www.sogou.com/docs/help/webmasters.htm
7、必应蜘蛛
必应蜘蛛名称为Bingbot，必应是微软的搜索引擎，微软的IE浏览器和Edge浏览器会默认使用该搜索引擎，而且占有率也还可以，不建议屏蔽。
详情参考http://www.bing.com/bingbot.htm
8、SOSO蜘蛛
SOSO蜘蛛名称为Sosospider，不过腾讯已玩死，交给搜狗公司了，这里接不介绍了。
详情参考：http://help.soso.com/webspider.htm
9、Yahoo! Slurp China（雅虎中国）或 Yahoo! Slurp（雅虎英文）
雅虎中国：http://misc.yahoo.com.cn/help.html
雅虎英文：http://help.yahoo.com/help/us/ysearch/slurp
10、MSNBot，MSNot-media（MSN蜘蛛）
MSNBOT应该是 bing 搜索的蜘蛛，MSN和bing是一家的，可以只保留 Bingbot。
详情参考http://search.msn.com/msnbot.htm
11、还有一些蜘蛛，不会给网站带来流量，还会占用资源，建议屏蔽之，这个自己决定。
YoudaoBot（有道蜘蛛）：网易有道的蜘蛛，并不会带来流量。
JikeSpider（即刻蜘蛛）：“即刻搜索”是由人民搜索网络股份公司于2011年6月20日推出的通用搜索引擎平台，建议屏蔽。
详情参考http://shoulu.jike.com/spider.html
EasouSpider（宜搜蜘蛛）：宜搜是主要针对手机端的搜索引擎，非常傻帽的一个爬虫，建议屏蔽之。
MJ12bot： 英国的一个搜索引擎，官方解释为：成千上万的企业使用13种语言和60多个国家来绘制互联网地图，独立于基于消费者的搜索引擎。
详情参考http://mj12bot.com/
YandexBot：国外的一个网站分析平台，建议屏蔽。
详情参考https://webmaster.yandex.com
来源：http://yandex.com/bots
Rogerbot：Moz 网站的机器人。与 Moz 的官方机器人 DotBot 不同，Rogerbot 似乎不再是一个合法的机器人。
DotBot：嗯，看到这你应该懂了。
详情参考http://www.opensiteexplorer.org/dotbot
exabot：Exalead或Dassault Systemes网站的机器人。
ia_archiver（Alexa蜘蛛）：Alexa 的网站和网站审计爬虫。
Teoma：是美国 Ask Jeeves 搜索引擎的蜘蛛，在美国占 5% 的搜索份额。
gigabot：搜索到的是一个 3D 打印公司，没什么乱用，屏蔽即可。
DOCOMO Sprider：日本 NTT DoCoMo 旗下的搜索引擎蜘蛛，是垃圾搜索引擎爬虫，有看到你的日志里面有这只蜘蛛，直接毫不犹豫的禁掉。
暂时总结了这么多，可能会有遗漏的后续再添加，温馨提示，以上信息仅供参考。
业务咨询
技术咨询
津公网安备 12011402001042号