如何解决老域名baidu模拟抓取失败问题

这篇文章将为大家详细讲解有关如何解决老域名baidu模拟抓取失败问题,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

创新互联专注于矿区企业网站建设,响应式网站建设,成都做商城网站。矿区网站建设公司,为矿区等地区提供建站服务。全流程按需规划网站,专业设计,全程项目跟踪,创新互联专业和态度为您提供的服务

近期有学员反馈他的域名使用百度模拟抓取的时候一直显示失败,试了N种方法都不行。而最近几天我上站的时候也遇到了相同的问题,百度后台验证的时候是可以通过的,正常情况下是模拟抓取也是可以通过的,但是模拟抓取失败。

因为用的是老米,点击抓取详情的时候发现百度抓取的还是原来域名的IP地址。

如何解决老域名baidu模拟抓取失败问题

因为我知道百度为了提升爬虫的访问效率,有自己的DNS服务器,所以我就点击了更新IP,但是试了N次都不行。以前的经验是基本点击更新了就是OK的。

接着我就主动提交了整站的网址和sitemap地图,结果第二天再模拟抓取的时候就已经是正常的了。

结论,只要是主动提交可以提交成功以及sitemap的数据可以正常被百度提取,那么后续的百度抓取就是没有问题的。所以大家遇到相同的问题的时候可以尝试主动提交以及提交sitemap来更新你的IP。

那么会出现这种问题的都会发生在哪些阶段呢?

  1. 域名更换服务器IP的时候会出现

  2. 老玉米新上线的时候会遇到

这里还有一个注意的点,那就是针对百度的,由于sitemap的提交是有限制的,似乎每个站点就100份,每份50000条,所以基本一个站也就500万,因此最好是每一份都提交够50000条。当然了,小站点就不用关注这些。

因为神马的sitemap提交限额是10000条,当然了评级越高数量越多,所以有些egg pain,这种情况只能是每个搜索引擎单独提交了。

关于如何解决老域名baidu模拟抓取失败问题就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


网站标题:如何解决老域名baidu模拟抓取失败问题
本文来源:http://scyanting.com/article/iegisj.html