对页面抓取异常的原因及分析
时间：2023-08-24
1，效劳器对接异常效劳器对接异常会出现二种情况：一种是网站不稳定，Baiduspider测试对接您网站的效劳器时展现临时没法对接的情况;一种是Baiduspider一向没法对接上您网站的效劳器。产生效劳器对接异常的要素一般是您网站效劳器太大，过载运行。也是有或许是您的网站运行异常，请查看网站的web效劳器(如apache、iis)是否设备且正常运转，并应用电脑浏览器查询主要网页页面能不能正常的拜访。您网站和服务器还或许阻碍了Baiduspider的拜访，您要求查询网站和服务器的服务器防火墙。2，营运商异常：营运商分电信和联通二种，Baiduspider通过电信网或网通电信没法拜访您网站。倘若展现这类情况，您要求与互联网效劳营运商开展联系，也许购置具备多线效劳的区域也许购置cdn效劳。3，DNS异常：当Baiduspider无法解析您网站的IP时，会展现DNS异常。或许是您的网站IP地址过失，也许网站域名效劳商把Baiduspider封禁。请应用WHOIS也许host查看自身网站IP地址是否合理且可分析，倘若不合理或无法解析，请与域名服务商联系，升级您IP地址。4，IP封禁：IP封禁为：限制网络的出入口IP地址，劝阻该IP段的应用者开展具体内容拜访，在这儿专指封禁了BaiduspiderIP。当您网站不期望Baiduspider拜访时，才要求该设定，倘若您期待Baiduspider拜访您网站，请查看相关设置中是否误添加了BaiduspiderIP。也是有或许是您网站地址的室内空间效劳商把baiduIP进行了封禁，这时候您要求联系效劳商变更设定。5，UA封禁：UA即是客户代理(User-Agent)，效劳器通过UA分辨拜访者的真实身份。当网站有关特定UA的拜访，回家异常网页页面(如403，500)或自动跳转到其他网页页面的情况，即是UA封禁。当您网站不期望Baiduspider拜访时，才要求该设定，倘若您期待Baiduspider拜访您网站，useragent相关的设置中是不是有Baiduspider UA，并立即调整。6，死链：网页页面已经失效，没法对客户提供一切有使用价值信息内容的网页页面就是死联接，包括协议书死链和具体内容死链二种方式:协议书死链：网页页面的TCP协议书情况/HTTP协议书情况清楚说明的死链，多见的如404、403、503情况等。具体内容死链：效劳器回家情况是正常的，但具体内容已经变动为不会有、已删除或要求管理权限等与原信息没有关系的信息内容网页页面。有关死链，大家认为网站应用协议书死链，并通过baidu站长服务平台
