什么是网站robots.txt文件?

  • A+
所属分类:SEO基础知识

robots用途以及写法

robots.txt文件概念:

对于刚接触宜昌SEO的新手许多都不明白robots.txt是为何物,其实许多网站我们都可以看看他们的robot.txt文件的设置,比如我的是:http://www.ycseotg.com/robots.txt,大家可以打开这个链接看下,其实是一个纯文本txt文件,主要是为百度蜘蛛准备的,与用户关系不大,它是百度蜘蛛访问网站首先查看的文件,就是网站和蜘蛛的一个协议,告诉哪些网页可收录,哪些不允许收录,在根目录下放置一个robots.txt是对搜索引擎有好的表现。

robots文件用途:
robots.txt是百度蜘蛛会遵循协议,通过根目录创建的robots.txt,可以声明哪些页面不想被百度蜘蛛爬行并收录,每个网站可以自行控制网站哪些被百度蜘蛛收录,或指定百度蜘蛛能收录指定的内容。当百度蜘蛛访问站点时,首先它会检查该站点根目录下是否存在robots.txt,如果该文件不存在,那么爬虫就沿着链接抓取,如果存在,爬虫就在该文件中的限制内容以外访问。

robots一般屏蔽什么:
一般屏蔽隐私页面,后台登陆页面,缓存页面,图片目录,css目录,模板页面等内容,或者屏蔽一些不想传递权重的页面可以通过Disallow命令来进行设置

robots 设置的格式:
User-agent: 定义搜索引擎的类型;
Crawl-delay: 定义抓取延迟
Disallow:定义禁止搜索引擎收录的地址
Allow: 定义允许搜索引擎收录的地址

设置好网站的robots对于SEO优化是很有好处的,我们平时要多注意一些细节性的东西,细节决定成败,就像海尔集团总裁张瑞敏有一句名言:“把每一件简单的事做好就是不简单,把每一件平凡的事做好就是不平凡。”

weinxin
欢迎加入宜昌SEO站长之家
本站的所有资源都是免费分享,加好友进群大家互相学习交流进步。另外,看完此文章如有疑问请在下方评论区提出来,将给于解答!

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: