搜索引擎蜘蛛被称为网页蜘蛛（又名为爬虫程序），主要的作用就是抓取网站上的所有内容。简单一点理解，就是你的网站想通过搜索框收录显示，网站就需要网站先被蜘蛛抓取，在进行展示。
搜索引擎又名“蜘蛛程序”和“网页爬虫”甚至有的人直呼为网页机器人，其实这都名称都不重要。搜索引擎的蜘蛛是按照每个蜘蛛的抓取规则，进行自动的抓取你网站的内容。那么，你知道多少个“搜索引擎”蜘蛛程序呢？跟着巅云建站一起来了解下：
百度蜘蛛：Baiduspider
1、百度网页蜘蛛：Baiduspider-mobile
2、百度图片蜘蛛：Baidu-Thumbnail有的说是Baiduspider-image
3、百度新闻蜘蛛：Baiduspider-news
4、百度视频蜘蛛：Baiduspider-video
5、百度MP3搜索蜘蛛：Baidu-Transcoder
6、百度移动蜘蛛：baiduspider-mobile-gate
注：最常见的百度蜘蛛是Baiduspider和Baiduspider-image两种。
谷歌（Google）蜘蛛：Googlebot
Google蜘蛛最新称为“compatible; Googlebot/2.1”，还发现了Googlebot-Mobile
1、Google网页蜘蛛：Googlebot-Mobile
2、Google图片蜘蛛：Googlebot-Image
3、Google广告蜘蛛：Mediapartners-Google
4、Google质量蜘蛛：Adsbot-Google
搜搜蜘蛛：Sosospider
搜搜网页蜘蛛：Sosospider
搜搜图片蜘蛛： Sosoimagespider
360蜘蛛：360Spider，它在蜘蛛界中是最为勤奋的蜘蛛程序。
搜狗蜘蛛分别为：
搜狗蜘蛛：sogou spider
搜狗蜘蛛：Sogou inst spider
搜狗蜘蛛：Sogou News Spider
搜狗蜘蛛：Sogou web spider
搜狗蜘蛛：Sogou spider2
搜狗蜘蛛：Sogou blog
搜狗蜘蛛：Sogou Orion spider
搜狗蜘蛛名可以用Sogou来概括，上面具体有没有效，无法验证）
雅虎蜘蛛
雅虎中文蜘蛛：Yahoo! Slurp China
雅虎英文蜘蛛：Yahoo! Slurp
雅虎竞价蜘蛛：Yahoo ContentMatch Crawler/2.1
雅虎图片蜘蛛：Yahoo-MMCrawler
有道蜘蛛：YodaoBot
微软蜘蛛：msnbot
网页蜘蛛：MSNBot
图片及媒体蜘蛛：MSNBot-Media
新闻及blog蜘蛛：MSNBot-NewsBlogs
产品及购物蜘蛛：MSNBot-Products
学术蜘蛛：MSNBot-Academic
MSN蜘蛛：msnbot和msnbot-media（最常见的msnbot-media）
必应蜘蛛：bingbot (compatible; bingbot/2.0)
Alexa蜘蛛：ia_archiver
一淘网蜘蛛：EtaoSpider
还有一些国外的蜘蛛：
Altavista的蜘蛛：Scooter
Lycos的蜘蛛：Lycos_Spider_(T-Rex)
Alltheweb的蜘蛛：FAST-WebCrawler/
INKTOMI的蜘蛛：Slurp ASPSeek ASPSeek
东方网景 lanshanbot
日本某个蜘蛛 BSpider
另外还发现了一些国外的蜘蛛，如 YandexBot、AhrefsBot和ezooms.bot，国外蜘蛛对于我们中文站来说，作用很小。
每个搜索引擎都有自己的蜘蛛程序，如果你不想被某个蜘蛛程序抓取，可以采用robots.txt的方法来禁止抓取网站内容。这里我们提供一篇《robots.txt正确的写法和存放路径》供大家学习参考。
