当前位置:首页 > 建站分享 > 正文内容

为什么使用robots协议,蜘蛛还会抓取?

小松2022-10-28 10:40:54157

前段时间,想做个测试,把网站设置了一下robots,禁止某个平台的蜘蛛抓取网站信息。

robotsxy.jpg

后面连续几天site。显示网页又收录了。

我还以为某蜘蛛不遵守协议。

直到前天晚上,某蜘蛛才停止了抓取。即使我提交收录,也是没有蜘蛛过来抓取内容的。

我觉得这时候协议才生效了。

之前,为什么不能生效,那是因为还有缓存。蜘蛛抓取robots不是实时显示的。虽然你当天就设置了。但是,蜘蛛要过一段时间才能抓取到robots协议。

这也很正常吧,为了节省一些资源,它们会过段时间就会抓取一下。要是这时候抓取到信息,那么就会遵守啦。

当然,我设置robots只是测试一下东西。以前听人提过有效,但是我不能确认。

可能会成功,也可能会失败。不测试你就不知道结果,所以我就亲自测试了。希望能有一定的作用吧。

本文为小松笔记原创发布,未经允许请勿转载。

本文链接:https://notxyz.com/jzfx/1159.html

“为什么使用robots协议,蜘蛛还会抓取?” 的相关文章

有些人会默默的撤下友情链接

有些人会默默的撤下友情链接

有些人会默默的下友情链接,这都是很正常的现象,既然你下了,那我也下了,没有必要生气。交换友情链接本质上是等价交换,要是别人觉得你的站权重低了,他的站权重高,有种吃亏的感觉,那他就会考虑下友链。不过,小松自己做的话,下链之前会和对方说一下,即使没联系到人,也会发在qq上或者微信群,起码等他上线能够看到...

网站优化:一定要发外链吗?

网站优化:一定要发外链吗?

发外链一直都是我们经常听到的词,有人问我,你发过外链吗?我当时的回答说没发过,没想到对方还不信,我真的没有发过外链,因为我也不知道到底去哪里发外链才是这个网站需要的高质量的外链,我买的教程中,有写到高质量的外链的特性,相关站点发布的相关文章,只要能够给你带来用户流量的都是高质量的外链。当然,我说的只...

网站的文章标题字数多少好?建议不超过30个字符

网站的文章标题字数多少好?建议不超过30个字符

最近发现很多人网站的标题都达到了30个字符以上,估计是新手的缘故,虽然搜索引擎没有规定标题一定要在30个字符以内,但是根据索引的以及搜索的一些规则,其实你写的太多的话,无法一次性就能够显示在搜索结果上的。如果你想着字数多的话,这样检索的时候也能够多一些排名,但是这样是得不偿失的,一个用户搜索的话,如...

杂文对网站优化有没有作用?今天来捋一捋

杂文对网站优化有没有作用?今天来捋一捋

我们都是手赚行业的站长,目前很多人都在自己的网站写一些杂文,其实就是一些不关乎与赚钱软文的文章,这些杂文都有一个特点,其实就是自己的生活日常、感悟啊,或者一些自己建站的技巧啊,这些文章,都是不以赚钱为目的文章。所以这些文章都不会参与什么排名的,当然如果你写一些关键词的文章,也会参与排名,比如我网站的...

老网站没有排名提高收录量有作用吗?

老网站没有排名提高收录量有作用吗?

我相信这是很多人都会遇到的问题,一些老网站说真的,收录量只有区区的一千篇,我以前有个网站三年了一千多篇文章。如果你的收录量达到了这个数量就有很多的排名了,其实不用在乎文章的收录多少了,我们在意的是内容的质量,然后让你以后的每一篇文章都有好的排名,但是如果你是老网站,收录量不高,1000个索引而已,但...

一万网站流量广告收入有多少?我们来讲讲

一万网站流量广告收入有多少?我们来讲讲

今天跟朋友讨论关于网站流量变现这样的问题,很多人都说我们这个行业很赚钱,但是被管控很严,不如做几个流量站来靠广告变现,目前我听朋友说,广告扣量也比较大,而且现在好像广告变现个人网站越来越难了,就拿我一个朋友的导航+新闻模式的网站来讲,他的变现模式靠的就是广告和上链。目前他的这个网站一万三出头的流量,...