中企动力 > 商学院 > robots文件
  • ?

    robots文件是否支持中文目录

    主持人

    展开
    robots文件

    有同学问百度站长学院一个关于robots的问题:我们有个站点的目录结构使用的是中文,这样式儿的:a/冒险岛/123.html,那在制作robots文件和sitemap文件的时候,可以直接使用中文吗?百度能获取到吗?在实际操作中我们发现,sitemap中有文件是可以生效的,但robots封禁貌似没有反应,所以想确认一下:robots文件是否支持中文?

    工程师解答:Baiduspider目前(2016年10月)在robots里是不支持中文的。

    同学追问:那我们进行UrlEncode编码会不会支持呢?比如这种:http://a/%E7%89%B9%E6%AE%8A:%E6%B5%8F%E8%A7%88/%E7%94%9F%E6%AD%BB%E7%8B%99%E5%87%BB:%E7%99%BD%E9%93%B6%E5%8A%A0%E7%89%B9%E6%9E%97

    工程师解答:robots文件支持这种写法。但是否生效,还要取决于当时BaiduSpider抓取的是哪种形式结构的链接,如果是UrlEncode编码就可以生效,如果是中文就非常不幸了。

  • ?

    如何输写robots文件绝招

    思菱

    展开

    建设一网站后,对seoer来说,一般会在网站根目录下制作一个robots.txt文件,这个文件对网站优化起到相当重要的作用,网上也供应了很多制作 robots.txt文件的方法和软件。可是,你真的知道网站的robots.txt文件设置是不是合理,哪些文件或许目录需要屏蔽、哪些输写对网站优化推广排名有利?

    带着这些疑问,下面就分享如何输写robots文件绝招。

    首先、我们先了解一下什么是robots.txt文件

    引证baidu站长东西中后段话来阐明。查找引擎运用spider程序自动访问互联网上的页面并获取页面信息。spider在访问一个网站时,会首先会 查看该网站的根域下是不是有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取计划。您可以在您的网站中创立一个robots.txt,在文件中声明 该网站中不想被查找引擎录入的有些或许指定查找引擎只录入特定的有些。

    其次、robots.txt文件对网站有啥利益

    一、快速添加网站权重和访问量;

    二、阻遏某些文件被查找引擎索引,可以节省服务器带宽和网站访问速度;

    三、为查找引擎供应一个简洁明了的索引环境

    再次、哪些网站的目录需要运用robots.txt文件阻遏抓取

    1、图画目录

    图画是构成网站的首要构成元素。跟着现在搭站越来越便当,很多CMS的出现,真实做到了会打字就会建网站,而恰是因为如此便当,网上出现了很多的同质 化模板网站,被重复运用,这么的网站查找引擎是一定不喜爱的,就算是你的网站被录入了,那你的效果也是很差的。假定你非要用这种网站的话,建议你应当在 robots.txt文件中进行屏蔽,通常的网站图画目录是:imags 或许 img;

    2、网站模板目录

    如上面 图画目录 中所说,CMS的强大和活络,也致使了很多同质化的网站模板的出现和乱用,高度的重复性模板在查找引擎中构成了一种冗余,且模板文件常常与生成文件高度相 似,一样易构成一样内容的出现。对查找引擎很不友善,严峻的直接被查找引擎打入冷宫,不得翻身,很多CMS有具有独立的模板存放目录,因而,应当进行模板 目录的屏蔽。通常模板目录的文件目录是:templets

    3、CSS、JS目录的屏蔽

    CSS目录文件在查找引擎的抓取中没有用处,也无法供应有价值的信息。所以剧烈建议站长朋友们在Robots.txt文件中将其进行屏蔽,以跋涉查找 引擎的索引质量。为查找引擎供应一个简洁明了的索引环境更易行进网站友善性。CSS样式的目录通常情况下是:CSS 或许 style

    JS文件在查找引擎中无法进行辨认,这儿只是建议,可以对其进行屏蔽,这么做也有一个利益:为查找引擎供应一个简洁明了的索引环境;

    4、屏蔽双页面的内容

    这儿拿DEDECMS来举例吧。咱们都知道DEDECMS可以运用静态和动态URL进行同一篇内容的访问,假定你生成全站静态了,那你有必要屏蔽动态地 址的URL衔接。这儿有两个利益:1、查找引擎对静态的URL比动态的URL更友善、更简略录入;2、避免静态、动态URL能访问同一篇文章而被查找引擎 判为重复内容。这么做对查找引擎友善性来说是有益无害的。

    5、模板缓存目录

    很多CMS程序都有缓存目录,这种缓存目录的利益我想不用说咱们也了解了吧,可以十分有用的行进网站的访问速度,减少网站带宽,对用户体会也是极好 的。不过,这么的缓存目录也有一定的缺点,那就是会让查找引擎进行重复的抓取,一个网站中内容重复也是大祭,对网站百害而无一利。很多运用CMS搭站的朋友都没有留心到,有必要要致使注重。

    6、被删去的目录

    死链过多,对查找引擎优化来说,是丧身的。不能不致使站长的高度注重,。在网站的打开过程中,目录的删去和调整是不行避免的,假定你的网站其时目录不 存在了,那有必要对此目录进行robots屏蔽,并回来精确的404过错页面;留心:在IIS中,有的朋友在设置404过错的时分,设置存在疑问,在自定义 过错页面一项中,404过错的精确设置应当是挑选:默认值 或许 文件,而不应该是:URL,以避免查找引擎回来200的状况码。至于怎么设置,网上教程很多,咱们要吧查找一下。

    这儿有一个争议性的疑问,关于网站后台处理目录是不是需要进行屏蔽,正本这个可有可无。在能确保网站安全的情况下,假定你的网站运营计划较小,就算网站 处理目录出现在robots.txt文件中,也没有多大疑问,这个我也见过很多网站这么设置的;但假定你的网站运营计划较大,竞争夺手过多,剧烈建议千万 别出现任何你网站后台处理目录的信息,以防被存心不良的人运用,损害你的利益;正本查找引擎越来越智能,关于网站的处理目录仍是能极好的辨认,并扔掉索引的。其他,咱们在做网站后台的时分,也可以在页面元标签中添加:进行查找引擎的屏蔽抓取。

    总之,需要阐明一点,很多站长朋友喜欢把站点地图地址放在robots.txt文件中,当然这儿并不是去屏蔽查找引擎,而是让查找引擎在初度索引网 站的时分便能通过站点地图快速的抓取网站内容。这儿需要留心一下:1、站点地图的制作一定要规范;2、网站一定要有高质量的内容。

  • ?

    「seo基础」robots文件的写法解析

    飙尘

    展开

    在网站SEO中,robots文件的编写会直接影响着网站的优化结果,尤其是新手,要在了解清楚写法之后在写,避免给网站带来不必要的麻烦,robots.txt文件要怎么写?我们来了解一下。

    一、什么是robots.txt文件?

    robots.txt文件是搜索引擎在访问你的网站前,会查看的一个文件,它会告诉搜索引擎哪些内容可以访问,哪些内容不可以访问,当它要访问一个网站时会先检查是否存在robots.txt,如果有会按照这个命令进行访问有权限的内容。

    二、为什么要写robots?

    网站为了SEO的优化,robots.txt会屏蔽掉一些不想被抓取的内容,可以保护网站的安全,也可以节省一些流量,对蜘蛛也会方便一些,引导蜘蛛爬网站地图。

    三、robots的基本写法与步骤

    1、允许所有搜索引擎访问

    User-agent: *

    Disallow:

    或者

    User-agent: *

    Allow: /

    (也可以直接建一个空文件 “robots.txt”然后放到网站的根目录。User-agent: 是定义搜索引擎,“*”是表示所有。)

    2、禁止所有搜索引擎访问

    User-agent: *

    Disallow: /

    或者

    User-agent: *

    allow:

    (Disallow: /表示禁止访问,Allow: /表示允许访问,需要注意的是,/前面有个英文状态下的空格。)

    3、禁止所有搜索引擎访问网站中的几个文件夹,我以a、b、c目录来代替

    User-agent: *

    Disallow: /a/

    Disallow: /b/

    Disallow: /c/

    如果是允许,则是

    Allow: /a/

    Allow: /b/

    Allow: /c/

    4、禁止某个搜索引擎的访问,我用w来代替

    User-agent: w

    Disallow: /

    或

    User-agent: w

    Disallow: /d/*.htm

    在Disallow:后面加 /d/*.htm的意思是禁止访问/d/目录下的所有以”.htm”为后缀的URL,包含子目录。

    5、只允许某个搜索引擎的访问,我用Baiduspider为例

    User-agent: Baiduspider

    Disallow:

    在Disallow:后面不加任何东西,Baiduspider表示百度蜘蛛,Googlebot表示谷歌蜘蛛,意思是仅允许Baiduspider访问该网站。

    6、使用”$”限制访问url

    User-agent: *

    Allow: .htm$

    Disallow: /

    意思是仅允许访问以”.htm”为后缀的URL

    7、禁止访问网站中所有的动态页面

    User-agent: *

    Disallow: /*?*

    8、禁止搜索引擎F抓取网站上所有图片

    User-agent: F

    Disallow: .jpg$

    Disallow: .jpeg$

    Disallow: .gif$

    Disallow: .png$

    Disallow: .bmp$

    意思是只允许引擎抓取网页,禁止抓取任何图片(严格来说,是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。)

    9、只允许搜索引擎E抓取网页和.gif格式图片

    User-agent: E

    Allow: .gif$

    Disallow: .jpg$

    Disallow: .jpeg$

    Disallow: .png$

    Disallow: .bmp$

    (意思是只允许抓取网页和gif格式图片,不允许抓取其他格式图片)

    四、robots注意事项

    robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。在写robots.txt文件时User-agent、Disallow、Allow、Sitemap这些词第一个字母要大写,后面的字母小写,”:“后面是英文状态下的空格。站长想查看网站robots.txt文件是否生效,可以在百度统计中查看。

  • ?

    Robots.txt协议详解使用说明及文件写法

    Grizelda

    展开

    robots.txt协议文件作为网站seo优化基础内容, robots.txt协议文件在网站优化占重要的部分。robots.txt协议文件书写规范,能提大大的提高搜索引擎蜘蛛的抓取效率,提高友好度,这篇文章详细的阐述robots.txt协议文件的作用的写法。

    一:robots.txt协议文件作用

    搜索引擎访问一个网站的时候,最先访问的文件就是robots.txt。她告诉搜索引擎蜘蛛,哪些网站页面可以被抓取,哪些禁止抓取。也既是Robots的用法有两种,一种是告诉搜索引擎哪些页面你不能抓(默认其他的就可以抓);一种是告诉搜索引擎你只能抓取哪些页面(默认其他的不可以抓)。

    robots.txt协议文件写法guifan

    二:robots.txt标准写法规范

    有几个概念需掌握。

    User-agent:*

    *是一个通配符,表示所有的搜索引擎种类

    Disallow:/admin/

    这表示禁止搜索引擎爬寻admin目录下的内容

    Disallow:*?*

    这表示禁止搜索引擎爬寻包含?的网页

    Sitemap:sitemap.xml

    这里通过Sitemap指定固定的网站地图页面。目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司,显然不在这个圈子内。这样做的好处就是,站长不用到每个搜索引擎的站长工具或者相似的站长部分,去提交自己的sitemap文件,搜索引擎的蜘蛛自己就会抓取robots.txt文件,读取其中的sitemap路径,接着抓取其中相链接的网页。

    三:robots.txt文件放在哪里?

    此文件需放置在网站的根目录,且对字母大小有限制,文件名必须为小写字母。所有的命令第一个字母需大写,其余的小写。且命令之后要有一个英文字符空格。

    四:哪些时候需要使用该协议。

    1:无用页面,很多网站都有联系我们,用户协议等页面,这些页面相对于搜索引擎优化来讲,作用不大,此时需要使用Disallow命令禁止这些页面被搜索引擎抓取。

    2:动态页面,企业类型站点屏蔽动态页面,有利于网站安全。且多个网址访问同一页面,会造成权重分散。因此,一般情况下,屏蔽动态页面,保留静态或伪静态页面。

    五、Robots.txt使用上应注意的一些问题

    1、每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该在网站中添加一个robots.txt。

    robots.txt文件在百度搜索引擎优化中占很重的分量,在百度站长工具有专门的检测robots.txt是否书写正确和屏蔽页面的检测,需要我们认真对待。

  • ?

    SEO优化:如何正确设置robots.txt协议文件?

    Rosine

    展开

    有的时候,站长并不希望某些页面被抓取,如付费内容、测试阶段的网站等。要想确保页面不被抓取,需要使用robots文件。那么该如何正确设置呢?

    作为一名SEOer人员来说,我们清楚通常情况下,搜索引擎蜘蛛访问网站时,首先会查看网站根目录下有没有robots.txt的纯文本文件。

    一、什么是robots.txt文件

    用于指令搜索引擎禁止抓取网站某些内容或者指定抓取网站某些内容的。

    只有需要在禁止抓取某些内容时,robots.txt文件才有意义。robots.txt不存在或者是一个空文件意味着允许抓取网站上的所有内容。

    注意:有些因服务器设置的问题,robots.txt文件不存在时会返回状态码“200”,而不是“404”状态码。这可能导致搜索引擎错误解读robots文件。因此为了避免此类情况的发生,即使你允许抓取网站上所有的内容,也要在网站根目录下放一个空的robots.txt文件。

    二、robots.txt文件对网站有什么优点

    1、疾速增加网站权重和拜访量;

    2、制止某些文件被查找引擎索引,能够节约服务器带宽和网站拜访速度;

    3、为查找引擎供给一个简洁明了的索引环境

    三、、robots.txt文件由记录组成,记录之间以空行分开。

    格式:<域>:<可选空格><域值><可选空格>

    注意:记录之间应以空行分开。

    四、robots.txt基本语法:

    User-agent:指定规则适用于哪个蜘蛛(如:如百度是Baiduspider,谷歌是Googlebot或是其他搜索引擎)

    Allow:允许抓取什么URL路径

    Disallow:不允许抓取什么URL路径

    通配符*代表所有搜索引擎

    结束符$:表示以前面字符结束的u

    注意:允许或禁止的目录或文件必须分开写,每个一行

    五、实例分析

    (1) 禁止所有搜索引擎抓取任何页面

    User-agent: *

    Disallow: /

    (2)允许所有的搜索引擎访问网站的任何部分

    User-agent: *

    Disallow:

    (3)仅禁止Googlebot访问您的网站

    User-agent: Googlebot

    Disallow: /

    也可换为其他搜索引擎

    (4) 仅允许Googlebot访问您的网站

    User-agent: Googlebot

    Disallow:

    也可换为其他搜索引擎

    (5)禁止spider访问特定目录

    User-agent: *

    Disallow: /cgi-bin/

    Disallow: /tmp/

    注意事项:1)目录要分别写。2)请注意最后要带斜杠。3)带斜杠与不带斜杠的区别。

    (6)允许访问特定目录中的部分url:如:不抓取/ab/目录下的其他目录和文件,但允许抓取其中/cd/目录下的内容

    User-agent: *

    Disallow: /ab/

    Allow: /ab/cd/

    注:允许收录优先级要高于禁止收录。

    (7) 禁止访问网站中所有的动态页面

    User-agent: *

    Disallow: /*?*

    (8)禁止搜索引擎抓取网站上所有图片

    User-agent: *

    Disallow: /*.jpg$

    Disallow: /*.jpeg$

    Disallow: /*.gif$

    Disallow: /*.png$

    Disallow: /*.bmp$

    (9)允许抓取以.htm为后缀的URL

    User-agent: *

    Allow: .htm$

    (10)禁止抓取所有htm文件

    User-agent: *

    Disallow: /*.htm

    六、特殊情况

    被robots文件禁止抓取的URL还是可能被索引并出现在搜索结果中。只要有导入链接指向这个URL,就会被搜索引擎搜索引擎识别出来有这个URL的存在,虽然不会抓取页面内容,但是索引库中会有这个URL的页面信息存在。通常以下面四种情况呈现出来。

    (1)只显示URL,没有标题和描述

    (2)显示开放目录或雅虎等重要目录收录的标题和描述

    (3)导入链接的锚文字显示为标题和描述

    (4)搜索引擎从其他地方获得的信息显示为标题和描述

    其实很多情况呢,要具体分析,只有掌握了robots文件基本语法,才能合理正确的设置robots.txt文件。

    针对以上特殊情况,要想使URL完全不出现在搜索结果中,则需要使用noindex meta robots标签禁止索引。下一期的话就会大家具体分析、阐述一下noindex meta robots标签。

    来自:http://ljyseo/wzseoyh/42.html

  • ?

    网站分身各不同:同一个空间和代码,不同域名设置不同robots文件

    纪醉蝶

    展开

    不知道robots文件是何物何作用的请看之前文章:经常被忽视的robots原来还有这么多道道!

    这个解决方案的用途:

    CDN站缓存站站群地域子站以及其他各种相关的奇葩问题需要进行不同域名分别设置robots文件

    解决思路:

    这里用到了apache的.htaccess

    (科普:htaccess文件是Apache服务器中的一个配置文件,它负责相关目录下的网页配置。通过htaccess文件,可以帮我们实现:网页301重定向、自定义404错误页面、改变文件扩展名、允许/阻止特定的用户或者目录的访问、禁止目录列表、配置默认文档等功能。)

    解决流程:

    1.打开.htaccess,添加上红色框框中的规则,保存

    RewriteRule ^robots.txt$ /robots_%{HTTP_HOST}.txt [L]

    2.设置不同的robots文件

    然后在网站根目录放置robots_域名.txt这样的文件即可,例如:

    3.输入自己两个网址查看robots文件

    PS:有些虚拟空间没有.htaccess可以在桌面新建一个TXT文档,重命名成.htaccess即可

  • ?

    Robots.txt写法详解

    雷阁

    展开

    Robots 协议是蜘蛛访问网站的开关,决定蜘蛛可以抓取哪些内容,不可以抓取哪些内容。卓趣科技quhr从网站管理者的角度,我们通过 robots 的书写,可以决定让蜘蛛抓取哪些文件,而不抓取哪些文件,从而更有利于网站的优化。

    目录:

    1.robots协议分析、书写规则和书写方法

    2.robots协议是什么?它有什么用?

    知识扩展:Nofollow 与 Disallow 的区别

    1.robots协议分析、书写规则和书写方法

    Robots 是指网站与搜索引擎之间的协议1.Robots 是存放在网站根目录

    3.robots.txt 文件名改的是不可修2.Robots.txt 是放在网站根目录4.Robots 也是百度蜘蛛抓取站点优先级最高的

    2、robots 形式及定义:User-agent: Baiduspider (定义所有的百度蜘蛛)Disallow: /User-agent: 定义所有的蜘蛛Baiduspider: 百度蜘蛛Googlebot: 谷歌机器人MSNBot: msn 机器Baiduspider-image:百度图片Disallow: 定义那些文件可以抓取,那些文件不可以抓取

    比如说下面这个是 discuz 论坛的都是不允许蜘蛛抓取User-agent: *Disallow: /api/Disallow: /data/Disallow: /source/Disallow: /install/Disallow: /template/Disallow: /config/Disallow: /uc_client/Disallow: /uc_server/Disallow: /static/Disallow: /admin.phpDisallow: /search.phpDisallow: /member.phpDisallow: /api.phpDisallow: /misc.phpDisallow: /connect.phpDisallow: /forum.php?mod=redirect*Disallow: /forum.php?mod=post*Disallow: /home.php?mod=spacecp*Disallow: /userapp.php?mod=app&*Disallow: /*?mod=misc*Disallow: /*?mod=attachment*Disallow: /*mobile=yes*

    //不想站点文件被抓取情况下,那么按照这个格式后面增加自己所需要的文件即可

    当然,也可以用通配符*禁止某一类页面被抓取。Allow:允许

    //允许搜索引擎搜抓取文件格式

    小结:网站优化必须要有 robots,robots 格式区分大小的,区分大小写格式为:Disallow 首字母必须是大写的,在本地新建记事本编辑时需要注意的是不要写成”disallow” 重点开头是大写字母 D

    2. robots协议是什么?它有什么用?

    Robots 是站点与 spider 沟通的重要渠道,站点通过 robots 文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用 robots.txt 文件。对于站长而言,出于对 SEO 的要求,通过需要通过书写 robots 协议来限制蜘蛛抓取某些不参与排名或不利于排名的文件。在某些情况下,如果不限制蜘蛛抓取特定的文件,有可能导致网站保密信息的泄漏。曾经有一个高校网站因为没有设置好 robots 协议,导致学生信息被蜘蛛抓取而公布到网上。如果是商业性网站,会员信息被公开被网站后果是非常严重的。因为我们站长在管理网站的过程中,要注意 robots 协议的书写。

    3.知识扩展:Nofollow 与 Disallow 的区别

    Robots 是站点与 spider 沟通的关口,蜘蛛在访问网站之前,首先要找到 robots.txt 协议,通过阅读 robots 决定抓取哪些内容,不抓取哪些内容。当然,这个协议需要搜索引擎各方遵守才行,否则写得再好的 robots.txt 也是白瞎。

    disallow 完全禁止某个页面被抓取,也就是不会被收录和传递权重。而 nofollow 是某个链接的属性,一个页面如果有多个链接导入,只要有一个没有带 nofollow,那么它依然会被传递权重。不过一般我们所看到的 robots 里面都是 disallow,如果我们要禁止百度抓取,那么就 user-agent:baiduspider 这样,

    如果禁止谷歌抓取,那么就 user-agent:googlebot。而如果要禁止所以搜索引擎抓取  User-agent:* Disallow:/当然,一般网站内容我们都希望抓取,这样可以通过文字标题的长尾关键词引入很多流量。而收录对于网站排名来讲,目前没有什么有力的证据说明这一点。比如淘宝,百度就只收录了一个主页,但是流量和排名大家可以自己看看。而如果你的网站内容是受到版权保护,某些产品介绍,或者是新闻类,但是在别的网站转载过来的,那么即使收录了,如果重复页面太多,对自己的站点依然不好,所以也可以禁止抓取。

  • ?

    robots.txt文件的作用及写法

    txwd

    展开

    Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

    Robots.txt文件的重要性

    robots.txt是搜索引擎蜘蛛访问网站时要查看的第一个文件,并且会根据robots.txt文件的内容来爬行网站。在某种意义上说,它的一个任务就是指导蜘蛛爬行,减少搜索引擎蜘蛛的工作量。

    当搜索引擎蜘蛛访问网站时,它会首先检查该站点根目录下是否存在robots.txt文件,如果该文件存在,搜索引擎蜘蛛就会按照该文件中的内容来确定爬行的范围;如果该文件不存在,则所有的搜索引擎蜘蛛将能够访问网站上所有没有被口令保护的页面。

    通常搜索引擎对网站派出的蜘蛛是有配额的,多大规模的网站放出多少蜘蛛。如果我们不配置robots文件,那么蜘蛛来到网站以后会无目的的爬行,造成的一个结果就是,需要它爬行的目录,没有爬行到,不需要爬行的,也就是我们不想被收录的内容却被爬行并放出快照。所以robots文件对于我们做网站优化来说具有很重要的影响。

    网站没有Robots.txt文件的弊端

    如果网站中没有robots.txt文件,则网站中的程序脚本、样式表等一些和网站内容无关的文件或目录即使被搜索引擎蜘蛛爬行,也不会增加网站的收录率和权重,只会浪费服务器资源;搜索引擎派出的蜘蛛资源也是有限的,我们要做的应该是尽量让蜘蛛爬行网站重点文件、目录,最大限度的节约蜘蛛资源。Robots.txt文件的存放位置

    网站根目录下,通过“域名/robots.txt”能正常访问即可,如http://域名/robots.txt

    Robots.txt文件的写法

    User-agent: * *代表所有搜索引擎,也可指定搜索引擎,如指定百度,User-agent: BaiduspiderDisallow: /a/ 这里定义是禁止抓取a目录下面的所有内容Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。Allow: /cgi-bin/a/ 这里定义是允许爬寻cgi-bin目录下面的a目录Allow: /tmp 这里定义是允许爬寻tmp的整个目录Allow: .htm$ 允许访问以”.htm”为后缀的URL。Allow: .gif$ 允许抓取网页和gif格式图片Sitemap: 网站地图,告诉爬虫这个页面是网站地图

    迪思网站托管建议的robots文件书写方式

    User-agent: *

    Disallow: /i*/

    Disallow: /a*d/

    Disallow: *.php

    Disallow: /*/list*.html

    Allow: /img/

    Sitemap: https://域名/sitemap.xml

    迪思网站托管Robots.txt文件的说明

    User-agent: *

    (注释:这里的*代表所有的搜索引擎种类,*是一个通配符;当然你也可以针对某个搜索引擎,如User-agent: Baiduspider、User-Agent: 360Spider、User-Agent: Sogouspider。)

    Disallow: /i*/

    (注释:Disallow为禁止爬行,如果需要禁止蜘蛛爬行images目录,可以写为Disallow: /images/ ;推荐本站采用的写法,Disallow: /i*/,可以在一定程度上提高网站的安全性,如果写成Disallow: /images/可能会暴露网站后台文件路径,特别是管理路径。采用通配符的写法需要注意一点,i*代表所有以w开头的目录。)

    Disallow: /a*d/

    (注释:禁止爬行所有以字母a开始、以字母d结束的目录,如/abd/、/acd/、/abcd/,这种写法也是出于安全考虑。)

    Disallow: *.php

    (注释:禁止爬行所有目录下的所有以.php结尾的文件。)

    Disallow: /*/list*.html

    (注释:网站栏目文章多的时候会有分页,如第1页、第2页……,如果需要禁止爬行分页,假设分页URL为xxx/news/list_1_32.html,我们可以采取Disallow: /*/list*.html这种写法来禁止爬行所有目录下的所有分页。)

    Allow: /img/

    (注释:Allow代表允许爬行。Disallow: /i*/为禁止爬行所有以i开头的目录,但是我们需要让蜘蛛爬行img这个目录,可以采用Allow: /img/这种写法。)

  • ?

    什么是robots.txt文件?在网站优化中有什么作用?

    紫牧

    展开

    看了很多企业网站的robots文件,要么没有写,要么写的很乱。如果没有写,蜘蛛就会抓取网站所有的文件,不利于优化,更不利于保护需要保护的数据,比如用户信息;写的乱,不允许许抓取的内容,却被抓取,允许抓取的内容,反而没被抓取,严重影响网站内容收录,以及对网站重要内容的保护,下面深度网小编为大家详细分析robots文件的应用以及存在的误区。

    一、怎么查询robots.txt文件?

    robots.txt文件都是放在网站根目录下面,我们只要在域名后面输入robots.txt,然后按确认键,就会弹出robots文件内容,如图所示:

    二、robots.txt文件使用误区。

    1、网站所有文件都可以被抓取,不去设置robots.txt文件,默认让搜索引擎抓取整个的网站文件,这样不更利于优化。现实不是这样的,蜘蛛每次来抓取网站先会抓取robots.txt文件,如果文件不存在,蜘蛛就会认为是死链,就在网站日志记录为死链,严重影响蜘蛛友好度。

    2、在robots.txt文件中设置所有的文件都允许搜索引擎蜘蛛抓取,让搜索引擎能够收录更多页面。其实搜索引擎蜘蛛对于网站程序脚本、css样式、js文件等,很难被搜索引擎收录,就算收录了,也只会浪费服务器资源,这种对网站保护性很差,对蜘蛛体验不友好。

    3、在robots.txt文件中设置不抓取整个网站内容,不让抓取意味着整个网站都不会被搜索引擎收录,不被收录的话,关键词难以获得排名,在好的营销内容,也难以被用户看到。

    三、正确对待robots.txt使用技巧。

    我们网站都是由许多文件组成,比如我们常见的有后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等,有些文件是不需要搜索引擎去收录的,直接屏蔽蜘蛛抓取,让蜘蛛更好的爬行需要被抓取的内容,减轻蜘蛛负担,提高抓取效率,切记网站里不要空着,不去设置robots.txt文件。

    总结,robots.txt文件对于网站优化有很大的帮助,提高蜘蛛抓取效率,还能保护网站内部需要保护的信息。在网站上线前,一定要检查robots.txt文件,如果没有及时添加,如果规则写错了,及时调整过来,以免影响网站的收录。以上就是深度网小编分享的有关robots.txt文件的作用。

  • ?

    Robots文件使用技巧

    占秋寒

    展开

    SEOer应该对robots.txt文件并不陌生,它是每一个搜索引擎蜘蛛到你的网站之后要寻找和访问的第一个文件,robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过该文件,搜索引擎就可以知道在你的网站中哪些文件是可以被索引的,哪些文件是被拒绝索引的,这样我们就可以很方便地控制搜索索引网站内容了。

    Robots文件使用技巧

    一、robots.txt文件的作用:

    1、屏蔽网站内的死链接。

    2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。

    3、阻止搜索引擎索引网站隐私性的内容。

    网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常听到的“降低权重”,因此通过建立robots.txt文件给蜘蛛“指路”是很有必要的。

    二、robots.txt文件注意事项:

    1、必须放置在一个站点的根目录下;

    2、文件名必须全部小写;

    3、最好是UTF-8编码。

    三、robots.txt文件的基本语法:

    第一条是:User-agent,搜索引擎蜘蛛的名称;常见蜘蛛名称见文末。

    第二条是:Disallow,要拦截的部分,禁止蜘蛛访问的部分。

    第三条是:Allow,放行的部分,允许蜘蛛访问的部分。

    第四条是:Sitemap,网站地图索引文件。

    四、robots.txt使用要点

    首先我们来介绍Robots.txt的使用要点:

    1、每个域名(不管是不是子域名)都只能最多有一个Robots.txt文件,放置于网站根目录。yourname的Robots.txt对yourname没有约束;

    2、每种http协议都可以有一个Robots.txt。如http://yourname和https://yourname可以分别有一个Robots.txt;

    3、每个端口可以有一个Robots.txt。如http://yourname和http://yourname:8080可以分别有一个Robots.txt;

    4、文件名必须为小写。不能是RoBots.TXT;

    5、user-agent的名称以及user-agent,allow,disallow,crawl-delay,sitemap这些指示符的大小写不敏感;

    6、Robots.txt所包含的URL为大小写敏感。分清大小写才能有效排除索引;allow和disallow的URL必须是不包括协议、域名、端口的路径。

    7、使用相对路径,不能使用绝对路径。disallow: http://yourname/index.htm就错了。改为disallow: /index.htm才是正确的;

    8、sitemap必须包括从HTTP或HTTPS开始的完整的URL。

    9、Robots.txt不是死链提交工具,想要删除死链索引还是应该登陆各搜索引擎站长平台提交。

    10、Robots.txt只做减法,有没有这个文件的区别即是去不去做这个排除。删除Robots.txt等于告诉搜索引擎完全开放蜘蛛爬行你的网站。

    11、符号#用于注释。后面的内容会被忽略。

    五、多个User-Agent合并

    如果有多个垃圾蜘蛛在抓取你的网页,就会消耗你服务器的资源,那么你可能会通过disallow屏蔽他们,也可以通过user-agent一次性把他们屏蔽。

    例如:

    User-agent: bad-bot-aUser-agent: bad-bot-bDisallow: /

    这种写法在当你有多个user-agent,每个虽然都比较复杂但是都一样的情况下显得很有用。

    User-agent: bad-bot-aUser-agent: bad-bot-bDisallow: /XXX

    使用通配符*

    这里要说的是通配符*。它代表任意长度的任意字符。请注意每一行allow,disallow之后都有一个看不见的*。

    也就是说如果你写了disallow: /seo/,那么下面的内容就会影响到所有以/seo/开头的URL,比如:

    http://yourname/seo/post1.htmhttp://yourname/seo/post1.htmlhttp://yourname/seo/post/

    六、为不同的User-Agent订制Sitemap

    对Sitemap来说,它并不针对某一个user-agent。不管你的Sitemap语句出现在哪里它对所有的搜索引擎都是有效的。

    如果我们想让某些搜索引擎只访问特定的sitemap,这种情况下该如何处理呢?除了在站长平台提交网站地图,我们还可以在robots.txt内实现。我们一样可以用disallow去屏蔽掉。假定我们有一个谷歌sitemap-google.xml还有一个针对百度的sitemap-baidu.xml。我们可以这样实现:

    User-agent: GooglebotDisallow: /sitemap-baidu.xml #屏蔽谷歌蜘蛛对sitemap-baidu.xml的抓取User-agent: baiduspiderDisallow: /sitemap-google.xml #屏蔽百度蜘蛛对sitemap-google.xml的抓取Sitemap: http://yourdomain/sitemap-google.xmlSitemap: http://yourdomain/sitemap-baidu.xml

    这样一来谷歌的蜘蛛就不会访问sitemap-baidu.xml文件。百度的蜘蛛只能抓取sitemap-baidu.xml的内容,就可以实现针对不同的搜索引擎提交网站地图了。

    七、Sitemap太大了该怎么办?

    我们知道,一般来说搜索引擎对站点地图的大小和所包含的URL的数量都有所限制。比如百度对单个sitemap文件的限制是五万条URL和10MB的文件大小。在这种情况下,你可以在Robots.txt中给出多个sitemap文件的URL。除了这种分拆方式,你还可以使用sitemap索引文件。

    你可以为多个站点地图制作索引,索引格式如下:

    http://example/ext/xmlsitemap/add/201201/index_20120106.xml2009-12-14

    有多个Sitemap,按上述格式重复之间的片段,列明所有Sitemap地址,向站长平台进行提交。其他主流的搜索引擎也认这个索引格式。

    附录:常见各大搜索引擎蜘蛛名称:

    1、百度蜘蛛:Baiduspider

    看网上的资料百度蜘蛛名称有BaiduSpider、baiduspider等。百度蜘蛛最新名称为Baiduspider。日志中还发现了Baiduspider-image这个百度旗下蜘蛛,是抓取图片的蜘蛛。

    常见百度旗下同类型蜘蛛还有下面这些:Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap)、Baiduspider-render/2.0(抓取css,js)。

    2、谷歌蜘蛛:Googlebot

    谷歌蜘蛛最新名称为Googlebot。还发现了Googlebot-Mobile,看名字是抓取wap内容的。

    3、360蜘蛛:360Spider

    4、SOSO蜘蛛:Sosospider

    5、雅虎蜘蛛:Yahoo!SlurpChina

    6、有道蜘蛛:YoudaoBot,YodaoBot(两个都有)

    7、搜狗蜘蛛:Sogou News Spider

    搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider,阿修在日志中只发现了其中的Sogou News Spider。(参考别人的robots文件,搜狗蜘蛛名称可以用Sogou概括)

    8、MSN蜘蛛:msnbot,msnbot-media

    9、必应蜘蛛:bingbot

    10、一搜蜘蛛:YisouSpider

    11、Alexa蜘蛛:ia_archiver

    12、宜搜蜘蛛:EasouSpider

    13、即刻蜘蛛:JikeSpider

    上面就是Robots.txt在实际网站SEO优化中总结的应用技巧,您可以根据这个技巧对你的网站进行设置。如果需要帮助,也可以联系十堰SEO-SERP在线优化顾问帮你设置。

    非特殊说明,本文为本站原创(翻译)文章,转载请注明:本文转自:十堰SEO-SERP优化顾问。本文链接: http://seoserp/seo/jzjq/2017228.html

所有视频需要登录后,才能观看

请先登录您的帐号,即可完整播放,如果您尚未注册帐号,请先点击注册。