|
|
| 行业资讯 >> 资讯展示： |
SEO优化_robots设置详细解读 |
| 时间：2021-07-30 类别： seo优化 |
robots内容详细解读
robots.txt是纯文本文件，用于声明网站中不想被蜘蛛抓取的部分，robots不是一个规定,是一种约束 蜘蛛访问网站的时候首先查看的是robots：如果存在就按照robots规则抓取、如果不存在蜘蛛就沿着链接直接爬行 1.robots作用 1.1、防止私密或重要的内容被搜索引擎抓取 1.2、节省服务器资源 1.3、减少重复抓取，提高网站质量 1.4、制定sitemap文件位置 2.写法 该文件放置在文件的根目录下，并且文件名必须小写：http://www.dbgzs.shop/robots.txt 3.语法 3.1、User-agent: 3.1.1、指定哪个搜索引擎蜘蛛：Baiduspider（百度）、Googlebot（谷歌）、Sogouspider（搜狗） 3.1.2、*代码所有搜索引擎 3.2、Allow:表示允许蜘蛛抓取的栏目或文件 3.2.1、Allow:/web/ 表示允许访问web目录 3.2.2、Allow:/*.htm$ 表示允许访问html文件 3.3、Disallow：禁止抓取栏目或文件 Disallow:/web/：禁止抓取web目录 Disallow:/*.htm$：禁止抓取html文件 Disallow:/ 禁止抓取网站所有内容： /表示根目录 4.工具：http://tool.chinaz.com/robots/ 5.问题 5.1、如果搜索引擎已经收录了你的网页，这时候你不想让搜索引擎收录网页 咋办？ 5.2、robots是不能删除搜索引擎中已经收录的页面 5.3、robots meta标签来解决该问题 6.robots meta标签：针对具体的页面 6.1、语法 6.1.1、（）：允许搜索引擎抓取页面与页面的链接 ：不允许搜索引擎抓取页面与允许页面的链接 ：允许搜索引擎抓取页面与不允许页面的链接 （）：不允许搜索引擎抓取页面与不允许页面的链接 7.解释 index：表示搜索引擎可以抓取该页面 noindex：表示搜索引擎不可以抓取该页面 follow：表示搜索引擎蜘蛛可以爬寻该页面的上的链接 nofollow：表示搜索引擎蜘蛛不可以爬寻该页面的上的链接 提醒：有些时候也友情链接交换可能会被加上nofollow，大家可以查看一下（避免灰帽） 资讯来源：https://www.pos56.cn/SEOyouhua/133.html |
友情提示： 信息由用户自行发布，采用请谨慎，我们鼓励您当面交易。如有不符合法规或造成侵权，请及时通知本站更正或删除，具体联系方式见页面底部联系我们。名站在线只为传递信息，我们不做任何双方证明，也不承担任何法律责任。 信息转载，请标明来源于www.fwol.cn ,谢谢。 |
| 其它相似链接： |
| 相关评论： |
|
|
电脑版 |
