怎么用JavaScript爬虫百度贴吧数据-创新互联

这篇文章主要介绍“怎么用JavaScript爬虫百度贴吧数据”,在日常操作中,相信很多人在怎么用JavaScript爬虫百度贴吧数据问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”怎么用JavaScript爬虫百度贴吧数据”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

兴业网站制作公司哪家好,找创新互联!从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设公司等网站项目制作,到程序开发,运营维护。创新互联于2013年开始到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选创新互联。

抓取帖子用的JavaScript函数如下:

function getPostByAJAX(requestURL){   var html = $.ajax({         url: requestURL,         async: false}).responseText;         return html;
}

就是一个非常简单的AJAX请求:

怎么用JavaScript爬虫百度贴吧数据

传入该函数的输入参数requestURL的值为:  http://tieba.baidu.com/i/i/my_tie

怎么用JavaScript爬虫百度贴吧数据

上面的url,我直接在浏览器里访问可以正常工作,返回47.2KB大小的数据。

然而当我用AJAX函数访问该url时,在Chrome开发者工具里遇到如下错误:

怎么用JavaScript爬虫百度贴吧数据

怎么用JavaScript爬虫百度贴吧数据

怎么用JavaScript爬虫百度贴吧数据

然而,这个错误没有任何明细信息,我没有线索去排错。

于是,就有了本文这个Chrome开发者工具的隐藏技能的用武之地。

在Chrome地址栏打开:  chrome://net-internals

点击Event标签页:

怎么用JavaScript爬虫百度贴吧数据

再回到我的百度贴吧爬虫网页,该网页发起AJAX请求,按F5刷新后发送一个新的请求,然后回到Chrome开发者工具。

该AJAX请求的明细就详细显示出来了。找到我关心的url: http://tieba.baidu.com/i/i/my_tie

chrome://net-internals 这个界面显示的网络请求的明细比Network标签页里要详细得多:

怎么用JavaScript爬虫百度贴吧数据

在响应头字段里发现了引起这个错误的一些线索:

怎么用JavaScript爬虫百度贴吧数据

从上面的截图发现,HTTP响应状态字段为302,location字段为 “ http://static.tieba.baidu.com/tb/error.html?ErrType=1 ” 。这两条线索给了我提示:这个错误一定和百度网站的登陆状态处理相关:我使用的url不支持匿名访问。

我在浏览器里访问该url能够成功,因为我的Cookie在起作用。

怎么用JavaScript爬虫百度贴吧数据

Goole了一下,发现了解决方案。在AJAX的请求参数中添加:

xhrFields:{
withCredentials: true}

如此一来,可以将我的cookie和AJAX请求一齐发送给百度服务器。

怎么用JavaScript爬虫百度贴吧数据

加上该参数后,请求就能够得到期望的响应了。

怎么用JavaScript爬虫百度贴吧数据

使用Chrome开发者工具这个隐藏技能,我们还能观察到一些其他的平时很难发现的细节。

比如我的AJAX请求通过本地的jQuery库文件发出,我的HTML代码里直接引用了本地文件jquery1.7.1.js。在运行时,这个jquery1.7.1.js文件需要被加载到内存中。

使用这个隐藏技能,我现在能观察到jquery1.7.1.js是通过分块的方式被读入到内存中的,参考现在URL_REQUEST_JOB_BYTES_READ的参数:byte_count = 32768。总共分了8块读取,最后1块因为尺寸不满32768,只读了剩下的22285字节。

怎么用JavaScript爬虫百度贴吧数据

这8块的总字节数251661正好是jquery1.7.1.js的字节数。由此再次证明, chrome://net-internals 提供的功能比Network标签页里的要强大。

怎么用JavaScript爬虫百度贴吧数据

到此,关于“怎么用JavaScript爬虫百度贴吧数据”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联-成都网站建设公司网站,小编会继续努力为大家带来更多实用的文章!


分享题目:怎么用JavaScript爬虫百度贴吧数据-创新互联
文章路径:http://scyanting.com/article/decgge.html