仅记录已经进入本站的爬虫

爬虫名称 爬虫版本 爬虫来源 爬虫类别 爬虫用途
SeznamBot 3.20 Seznam 常规爬虫 搜索引擎
AhrefsBot 7.00 Ahrefs 常规爬虫 SEO 分析
PetalBot - 华为花瓣 常规爬虫 搜索引擎
MJ12bot 1.4.8 MJ12Bot 常规爬虫 SEO 分析
Googlebot 2.10 Google 常规爬虫 搜索引擎
YandexMobileBot 3.00 Yandex 常规爬虫 搜索引擎
bingbot 2.00 Bing 常规爬虫 搜索引擎
Netcraft - Netcraft 常规爬虫 网络安全
360Spider - 360 搜索 常规爬虫 搜索引擎
YisouSpider 5.00 易搜 常规爬虫 搜索引擎
Baiduspider 2.00 百度 常规爬虫 搜索引擎
crawler 0.90 babbar 常规爬虫 SEO 分析
Mediumbot - Medium 常规爬虫 SEO 分析
TelegramBot - Telegram 常规爬虫 网页抓取
BSpider 4.00 Sogou 常规爬虫 搜索引擎
NodeRSSBot 0.6.1 NodeRSSBot 常规爬虫 RSS 抓取
Facebot 1.1 Facebook 常规爬虫 网页抓取
DNSResearchBot 2.1 波鸿鲁尔大学 未知 学术研究
DuckDuckGo-Bot 1.0 DuckDuckGo 常规爬虫 搜索引擎
CCBot 2.0 Common Crawl 常规爬虫 SEO 分析
SemrushBot - Semrush 常规爬虫 SEO 分析
Applebot 0.1 Apple 常规爬虫 网页抓取
Twitterbot 1.0 推特 常规爬虫 网页抓取
DingTalkBot 1.0 钉钉 常规爬虫 网页抓取
Slackbot 1.0 Slack 常规爬虫 网页抓取
Staddlebot 1.0 Bnry 常规爬虫 私人项目
bitlybot 3.0 bitly 常规爬虫 短链服务
PaperLiBot 2.1 PaperLi 常规爬虫 网页抓取
DuckDuckBot 1.1 DuckDuckGo 常规爬虫 搜索引擎
ZoominfoBot - ZoomInfo 常规爬虫 ZoomInfo
CCBot 2.0 Common Crawl 常规爬虫 SEO 分析
Bytespider - 今日头条 常规爬虫 网页抓取
Neevabot 1.0 Neeva 常规爬虫 付费搜索引擎
SurdotlyBot 1.0 - - -
SeobilityBot - - 常规爬虫 SEO 分析
SMTBot 1.0 similartech 常规爬虫 SEO 分析
DotBot 1.2 Moz 常规爬虫 SEO 分析
DataForSeoBo 1.0 DataForSEO 反链爬虫 SEO 分析
HuaweiWebCatBot 6.0 华为安全中心 常规爬虫 网页分析
coccocbot 1.0 Cốc Cốc 常规爬虫 搜索引擎（越南）
Custo - Palo Alto Networks 常规爬虫 网络安全
linkdexbot 2.0 linkdexbot 常规爬虫 SEO 分析
DomainStatsBot 1.0 DomainStats 常规爬虫 域名分析
360Spider - Qihoo 360 Technology Co. Ltd. 常规爬虫 搜索引擎

注：爬虫类别根据行为好坏分为常规爬虫（Good bot）和恶意爬虫（Bad bot）两类

感谢 Dr-MengBao 的转载

持续更新....