最近来博客的蜘蛛汇总 发现

以前做网站的时候,来爬的蜘蛛只有传统搜索引擎的,比如百度、搜狗、谷歌、搜搜等。以前做站,研究SEO,看到新站被蜘蛛爬了,刚开始的时候还是有点兴奋的,感觉就要成了,流量就要来了。 昨天安装了一个蜘蛛记录插件,可以记录来网站爬的蜘蛛。刚才看了一下,多了一些不认识的蜘蛛。 有GPTbot,有Googlebot,Baiduspider,Applebot,360Spi...
Hu 发布于