企业检索网站建设

我们可以借用郭小四的名言来形容现今的搜索引擎时代——这是一个最好的时代，也是最坏的时代。搜索引擎技术飞速发展，对网站的解析越来越充分，而各家网站也面临着强劲的对手竞品，如何让自己的网站对搜索引擎对百度更加友好，是站长要充分考虑的问题。

第一节-友好抓取

　　如何正确识别Baiduspider移动ua

　　新版移动ua:

　　Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://baidu/search/spider.html)

　　PC ua:

　　Mozilla/5.0 (compatible; Baiduspider/2.0; +http://baidu/search/spider.html）

　　之前通过“+http://baidu/search/spider.html”进行识别的网站请注意！您需要修改识别方式，新的正确的识别Baiduspider移动ua的方法如下：

　　1. 通过关键词“Android”或者“Mobile”来进行识别，判断为移动访问或者抓取。

　　2. 通过关键词“Baiduspider/2.0”,判断为百度爬虫。

　　另外需要强调的是，对于robots封禁，如果封禁的agent是Baiduspider，会对PC和移动同时生效。即，无论是PC还是移动Baiduspider，都不会对封禁对象进行抓取。之所以要强调这一点，是发现有些代码适配站点（同一个url，PC ua打开的时候是PC页，移动ua打开的时候是移动页），想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的，但由于PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。

　　如何识别百度蜘蛛

　　百度蜘蛛对于站长来说可谓上宾，可是我们曾经遇到站长这样提问：我们如何判断疯狂抓我们网站内容的蜘蛛是不是百度的？其实站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同，如linux/windows/os三种平台下的验证方法分别如下：

　　1、在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu 或 *.baidu.jp 的格式命名，非 *.baidu 或 *.baidu.jp 即为冒充。

　　2、在windows平台或者IBM OS/2平台下，您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以*.baidu 或*.baidu.jp 的格式命名，非 *.baidu 或 *.baidu.jp 即为冒充。

　　3、 在mac os平台下，您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 *.baidu 或*.baidu.jp 的格式命名，非 *.baidu 或 *.baidu.jp 即为冒充。

　　Baiduspider IP是多少

　　即便很多站长知道了如何判断百度蜘蛛，仍然会不断地问“百度蜘蛛IP是多少”。我们理解站长的意思，是想将百度蜘蛛所在IP加入白名单，只准白名单下IP对网站进行抓取，避免被采集等行为。

　　但我们不建议站长这样做。虽然百度蜘蛛的确有一个IP池，真实IP在这个IP池内切换，但是我们无法保证这个IP池整体不会发生变化。所以，我们建议站长勤看日志，发现恶意蜘蛛后放入黑名单，以保证百度的正常抓取。

　　同时，我们再次强调，通过IP来分辨百度蜘蛛的属性是非常可笑的事情，所谓的“沙盒蜘蛛”“降权蜘蛛”等等是从来都不存在的。

　　robots写法

　　robots是站点与spider沟通的重要渠道，站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

　　robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：

　　":"

　　在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行,详细情况如下：

　　User-agent:该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

　　Disallow:该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。

　　Allow:该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。

　　使用"*"and"$"：Baiduspider支持使用通配符"*"和"$"来模糊匹配url。

　　"*" 匹配0或多个任意字符

　　"$" 匹配行结束符。

　　最后需要说明的是：百度会严格遵守robots的相关协议，请注意区分您不想被抓取或收录的目录的大小写，百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配，否则robots协议无法生效。

　　robots需求用法对应表

　　上面说了那么多理论，有没有简单对照表格告诉我，怎样的需求场景下应该怎样撰写robots文件？有的：

　　除robots外其它禁止百度收录的方法　　Meta robots标签是页面head部分标签的一种，也是一种用于禁止搜索引擎索引页面内容的指令。目前百度仅支持nofollow和noarchive

　　nofollow：禁止搜索引擎跟踪本页面上的链接

　　如果您不想搜索引擎追踪此网页上的链接，且不传递链接的权重，请将此元标记置入网页的部分：

　　如果您不想百度追踪某一条特定链接，百度还支持更精确的控制，请将此标记直接写在某条链接上：signin

　　要允许其他搜索引擎跟踪，但仅防止百度跟踪您网页的链接，请将此元标记置入网页的部分：

　　noarchive：禁止搜索引擎在搜索结果中显示网页快照

　　要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的部分：

　　要允许其他搜索引擎显示快照，但仅防止百度显示，请使用以下标记：

　　注：此标记只是禁止百度显示该网页的快照，百度会继续为网页建索引，并在搜索结果中显示网页摘要。

　　使用robots巧妙避免蜘蛛黑洞

　　对于百度搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多、内容类同但url不同的动态URL ，就像一个无限循环的“黑洞“，将spider困住。spider浪费了大量资源抓取的却是无效网页。

　　如很多网站都有筛选功能，通过筛选功能产生的网页经常会被搜索引擎大量抓取，而这其中很大一部分是检索价值低质的页面。如“500-1000之间价格的租房”，首先网站（包括现实中）上基本没有相关资源，其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取，只能是占用网站宝贵的抓取配额，那么该如何避免这种情况呢？

　　1. 我们以北京美团网为例，看看美团网是如何利用robots巧妙避免这种蜘蛛黑洞的：

　　2. 对于普通的筛选结果页，使用了静态链接，如：

　　3. http://bj.meituan/category/zizhucan/weigongcun

　　4. 同样是条件筛选结果页，当用户选择不同排序条件后，会生成带有不同参数的动态链接，而且即使是同一种排序条件（如：都是按销量降序排列），生成的参数也都是不同的。如：http://bj.meituan/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhekhttp://bj.meituan/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

　　对于美团网来说，只让搜索引擎抓取筛选结果页就可以了，而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。在robots.txt的文件用法中有这样一条规则：Disallow: /*?* ，即禁止搜索引擎访问网站中所有的动态页面。美团网恰是通过这种方式，对spider优先展示高质量页面、屏蔽了低质量页面，为spider提供了更友好的网站结构，避免了黑洞的形成。

　　禁止百度图片搜索收录某些图片的方法　　目前百度图片搜索也使用了与百度网页搜索相同的spider，如果想禁止Baiduspider抓取网站上所有图片、禁止或允许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现：

　　503状态码的使用场景及与404的区别

　　Html状态码也是网站与spider进行交流的渠道之一，会告诉spider网页目前的状态，spider再来决定下一步该怎么做——抓or不抓or下次再来看看。对于200状态码大家已经很熟了，那么我们来介绍几种常见的失效网页使用的状态码：

　　【404】404返回码的含义是“NOT FOUND”，百度会认为网页已经失效，那么通常会从搜索结果中删除，并且短期内spider再次发现这条url也不会抓取。

　　【503】503返回码的含义是“Service Unavailable”，百度会认为该网页临时不可访问，通常网站临时关闭，带宽有限等会产生这种情况。对于网页返回503，百度spider不会把这条url直接删除，短期内会再访问。届时如果网页已恢复，则正常抓取；如果继续返回503，短期内还会反复访问几次。但是如果网页长期返回503，那么这个url仍会被百度认为是失效链接，从搜索结果中删除。

　　【301】301返回码的含义是“Moved Permanently”，百度会认为网页当前跳转至新url。当遇到站点迁移，域名更换、站点改版的情况时，推荐使用301返回码，尽量减少改版带来的流量损失。虽然百度spider现在对301跳转的响应周期较长，但我们还是推荐大家这么做。

　　一些网站把未建好的页面放到线上，并且这些页面在被百度抓取的时候返回码是404，于是页面被百度抓取后会被当成死链直接删除。但是这个页面在第二天或者过几天就会建好，并上线到网站内展现出来，但是由于之前已经被百度当做死链删除，所以要再次等这些链接被发现，然后抓取才能展现，这样的操作最终会导致一些页面在一段时间内不会在百度出现。比如某个大型门户网站爆出大量新闻时效性很强的专题未被百度及时收录的问题，经检查验证后发现就是因为页面未建成就放置在线上，并返回404状态码，被百度当成死链删除，造成收录和流量损失。

　　对于这样的问题，建议网站使用503返回码，这样百度的抓取器接到503返回码后，会在隔一段时间再去访问这个地址，在您的页面建好上线后，就又能被重新抓取，保证页面及时被抓取和索引，避免未建好的内容设为404后带来不必要的收录和流量损失。

　　其它建议和总结：

　　1、如果百度spider对您的站点抓取压力过大，请尽量不要使用404，同样建议返回503。这样百度spider会过段时间再来尝试抓取这个链接，如果那个时间站点空闲，那它就会被成功抓取了

　　2、如果站点临时关闭或者页面暂未建好上线，当网页不能打开时以及没有建好时，不要立即返回404，建议使用503状态。503可以告知百度spider该页面临时不可访问，请过段时间再重试。

　　连通率为0的前因后果及预防补救措施

　　https站点如何做才能对百度友好

　　2015年5月25日，百度站长平台发布公告，宣布全面放开对https站点的收录，https站点不再需要做任何额外工作即可被百度抓收。采用了本文之前建议的https站点可以关闭http版，或者将http页面跳转到对应的https页面。　　~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

　　百度搜索引擎目前不主动抓取https网页，导致大部分https网页无法收录。但是如果网站一定要使用https加密协议的话该如何做到对百度搜索引擎友好呢。其实很简单：

　　1，为需要被百度搜索引擎收录的https页面制作http可...

西安网站建设公司奉道科技讲过很多关于网站的问题，像网站更新、网站优化、网站宣传等等问题。当网站遇到在互联网上搜索问题时，一些企业的负责人问到：现今公司已经建设的有网站，但是在网络上搜索时，根本搜索不到关于企业的任何信息等等问题。针对这些问题，西安网站建设公司奉道科技为大家简单的介绍下：

有网站不一定就会在互联网上被搜索到

许多企业面临着这样的困惑，企业刚在建站公司那边做了一个网站，但是在搜索的时候，却搜不到企业网站。网站建设公司奉道科技以前就说过了，建设了网站，并不一定会在互联网山搜索到，因为网站建设好后，没有任何的动态，没有更新过，不利于网站的收录，所以在这样的情况下，怎么可能搜索到网站了？

有网站不更新等于没有网站

上面就说了，建立了网站，没有时常准时的更新，有网站就相当于没有网站。便是企业在建立网站后，没有在网站里面添加任何有价值的内容，那么网站就一定不会有收录，从而不会再搜索引擎上有排名，这样的情况下，肯定是不会搜索到网站的。

不专业人员更新网站等于白更新

网站的更新需要专业的人员进行更新优化，这里说的专业的人员包括网站编辑，网站优化，网站安全技术人员，网站美工等等专业网站运营人员，很多企业将网站建设好后，就交给前台或者是不专业的员工管理，想起来什么时候更新，就什么时候更新，毫无规律可言，并有时一两个月更新一次，这样搜索引擎肯定不会将你的网站纳入到受欢迎系列，肯定不会有收录和排名。

以上便是西安网站建设公司奉道科技就为什么互联网上搜索不到企业网站的原因，其实简单的概括一下就是网站没有人管。网站没人管，就找西安网站建设公司奉道科技，奉道有专业的网站运营团队，对网站进行全面的分析和优化和维护，让网站成为企业宣传的一把利器。