大橙子网站建设,新征程启航
为企业提供网站建设、域名注册、服务器等服务
在SEO网站优化中robots.txt文件的编写直接影响网站优化的成果。
专注于为中小企业提供网站设计、做网站服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业和县免费做网站提供优质的服务。我们立足成都,凝聚了一批互联网行业人才,有力地推动了上千家企业的稳健成长,帮助中小企业通过网站建设实现规模扩充和转变。正所谓,细节决定成败,robots.txt文件要怎么写?
一、为什么要写robots.txt文件,它的作用是什么?
robots.txt是用来告诉搜索引擎网站上哪些内容可以被访问、哪些不能被访问。
当搜索引擎访问一个网站的时候, 它首先会检查网站是否存在robots.txt,如果有则会根据文件命令访问有权限的文件。
每个网站需要根据自身的要求写好robots.txt文件,robots.txt文件长什么样子?我们可以看看几个网站
的robots.txt文件。
淘宝robots.txt文件
百度robots.txt文件
网站为什么要写robots.txt,主要有四点:
1、保护网站安全
2、节省流量
3、禁止搜索引擎收录部分页面
4、引导蜘蛛爬网站地图
二、robots.txt的写法与步骤
1、定义搜索引擎
用User-agent:来定义搜索引擎,其中*表示所有,Baiduspider表示百度蜘蛛,Googlebot表示谷歌蜘蛛。
也就是说User-agent:*表示定义所有蜘蛛,User-agent:Baiduspider表示定义百度蜘蛛。
2、禁止与允许访问
Disallow: /表示禁止访问,Allow: /表示允许访问。
在写robots.txt时需特别注意的是,/前面有一个英文状态下的空格(必须是英文状态下的空格)。
3、禁止搜索引擎访问网站中的某几个文件夹,以a、b、c为例,写法分别如下:
Disallow: /a/
Disallow: /b/
Disallow: /c/
3-1、禁止搜索引擎访问文件夹中的某一类文件,以a文件夹中的js文件为例,写法如下:
Disallow: /a/*.js
4、只允许某个搜索引擎访问,以Baiduspider为例,写法如下:
User-agent: Baiduspider
Disallow:
5、禁止访问网站中的动态页面
User-agent: *
Disallow: /*?*
6、只允许搜索引擎访问某类文件,以htm为例,写法如下:
User-agent: *
Allow: .htm$
Disallow: /
7、禁止某个搜索引擎抓取网站上的所有图片,以Baiduspider为例,写法如下:
User-agent: F
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
三、robots.txt文件存放位置
robots.txt文件存放在网站根目录下,并且文件名所有字母都必须小写。
四、特别注意事项
在写robots.txt文件时语法一定要用对,User-agent、Disallow、Allow、Sitemap这些词都必须是第一个字母大写,
后面的字母小写,而且在:后面必须带一个英文字符下的空格。
网站上线之前切记写robots.txt文件禁止蜘蛛访问网站,如果不会写就先了解清楚写法之后再写,以免给网站收录
带来不必要的麻烦。
robots.txt文件生效时间在几天至一个月之间,站长自身无法控制。但是,站长可以在百度统计中
查看网站robots.txt 文件是否生效。
中国站长站robots文件在线生成:
http://tool.chinaz.com/robots/
创新互联www.cdcxhl.cn,专业提供香港、美国云服务器,动态BGP最优骨干路由自动选择,持续稳定高效的网络助力业务部署。公司持有工信部办法的idc、isp许可证, 机房独有T级流量清洗系统配攻击溯源,准确进行流量调度,确保服务器高可用性。佳节活动现已开启,新人活动云服务器买多久送多久。