«

最近来博客的蜘蛛汇总

Hu 发布于 阅读:68 发现


以前做网站的时候,来爬的蜘蛛只有传统搜索引擎的,比如百度、搜狗、谷歌、搜搜等。以前做站,研究SEO,看到新站被蜘蛛爬了,刚开始的时候还是有点兴奋的,感觉就要成了,流量就要来了。

昨天安装了一个蜘蛛记录插件,可以记录来网站爬的蜘蛛。刚才看了一下,多了一些不认识的蜘蛛。

有GPTbot,有Googlebot,Baiduspider,Applebot,360Spider,Sogouweb,Bytespider,还有不熟悉的蜘蛛但通过搜索提示是垃圾蜘蛛的,比如ZoominfoBot,Semrush等。

在这里蜘蛛里,上面列出的两个垃圾蜘蛛特别活跃,其次活跃的就是谷歌、Openai以及字节的蜘蛛了。

搜索蜘蛛 applebot bytespider GPTbot