韩博士装机大师
197人气数
HTML网站资源下载器
1461人气数
Aibi Photo AI照片增强器v1.34.0破解版
1528人气数
Photo Editor照片编辑器v9.7.1破解版
1498人气数
自由门VPN加速器
1973人气数
Telegram 电报TG 即时通讯软件
1517人气数
今天是主讲巧用Noindex。在上节课我们就了解到robots.txt文件的使用可以有效的防止Googlebot抓取一些不想被抓取索引的页面,但是你会发现,有些页面还是会显示在搜索结果中,这时,你就会有疑问,是不是自己在robot. ...
今天是主讲巧用Noindex。在上节课我们就了解到robots.txt文件的使用可以有效的防止Googlebot抓取一些不想被抓取索引的页面,但是你会发现,有些页面还是会显示在搜索结果中,这时,你就会有疑问,是不是自己在robot.txt文件中设置错了,还是robot.txt文件没有效果? 其实都是不是,主要是这些页面有被其他页面所链接,并且投票给到你网站的这个页面(也就是说,这个页面有外链,并有传递权重给到这个页面),所以造成了被Googlebot顺着链接过来抓取你这个页面,索引,并最终被用户检索出来。 那么如何有效的解决这个问题,就是今天主讲Noindex这个主题的原因! 一、什么是Noindex 官方描述:noindex 是一个包含 <meta> 标记或 HTTP 响应标头的规则集,用于防止支持 noindex 规则的Google将内容编入索引。当 Googlebot抓取该网页并发现该标记或标头时,Google 就会完全阻止该网页出现在 Google 搜索结果中,不论是否有其他网站链接到该网页。 总结:当Googlebot正在抓取页面时,或者已经被Googlebot抓取了,通过Noindex的两种使用方法可以阻止该网页出现在Google搜索结果中。 二、Noindex使用方法 1、使用meta标签添加Noindex 这个方法我用的比较多,但是一定要记住该标签要在<head></head>里使用,和title、keywords,description一样,具体用法如下: <head> <meta name="robots" content="noindex"> </head> 其中“robots”可以指明其不同搜索引擎抓取工具,没有指明则是指全部搜索引擎抓取工具。 例如: <meta name="Googlebot" content="noindex"> 这里robots指的就是Googlebot不要索引这个页面。 2、使用 X-Robots-Tag添加Noindex 这种方法我用的比较少,大家可以通过案例简单了解下: 举例: HTTP/1.1 200 OK Date: Sat, 11 May 2024 11:42:43 GMT X-Robots-Tag: noindex 这里X-Robots-Tag指的是抓取工具,没有指明则是指全部搜索引擎抓取工具。 例如: X-Robots-Tag: googlebot: noindex 这里X-Robots-Tag指的就是Googlebot不要索引这个页面。 |