四川盐亭网站制作公司

Python爬虫爬取Bilibili弹幕过程解析-创新互联

先来思考一个问题，B站一个视频的弹幕最多会有多少？

成都创新互联公司成立与2013年，先为文水等服务建站，文水等地企业，进行企业商务咨询服务。为文水企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

比较多的会有2000条吧，这么多数据，B站肯定是不会直接把弹幕和这个视频绑在一起的。

也就是说，有一个视频地址为https://www.bilibili.com/video/av67946325，你如果直接去requests.get这个地址，里面是不会有弹幕的，回想第一篇说到的携程异步加载数据的方式，B站的弹幕也一定是先加载当前视频的界面，然后再异步填充弹幕的。

接下来我们就可以打开火狐浏览器(平常可以火狐谷歌控制台都使用，因为谷歌里面因为插件被拦截下来的包在火狐可以抓到，同理谷歌也是)的控制台来观察网络请求了。

经过仔细排查之后，我找到了一个请求xml的，它后面跟了一个oid，查看它的响应内容之后可以发现它就是弹幕文件。

Python爬虫爬取Bilibili弹幕过程解析

它的响应时间98毫秒，远超其它几个响应，所以说如果把弹幕直接放在视频页面，用户体验一定会很差。

Python爬虫爬取Bilibili弹幕过程解析

找到弹幕了，爬取它很容易，但是我们想要是爬取固定av号视频的弹幕，而不是说随意去找一个oid来爬取弹幕，这样我们都不知道爬下来的弹幕是哪个视频的。

接下来我们就可以复制oid的117784982值，去视频页面搜索看看了，通过视频来获得它的oid再来爬xml弹幕就很方便了。

这次用了谷歌浏览器，在里面通过搜索oid果然搜索到相关的数据了。

Python爬虫爬取Bilibili弹幕过程解析

其中cid是弹幕对应的id，aid对应视频av号。

先把这个页面爬取下来。

# encoding: utf-8

import requests

headers = {
  'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
  'Accept': 'text/html',
  'Cookie': "_uuid=1DBA4F96-2E63-8488-DC25-B8623EFF40E773841infoc; buvid3=FE0D3174-E871-4A3E-877C-A4ED86E20523155831infoc; LIVE_BUVID=AUTO8515670521735348; sid=l765gx48; DedeUserID=33717177; DedeUserID__ckMd5=be4de02fd64f0e56; SESSDATA=cf65a5e0%2C1569644183%2Cc4de7381; bili_jct=1e8cdbb5755b4ecd0346761a121650f5; CURRENT_FNVAL=16; stardustvideo=1; rpdid=|(umY))|ukl~0J'ulY~uJm)kJ; UM_distinctid=16ce0e51cf0abc-02da63c2df0b4b-5373e62-1fa400-16ce0e51cf18d8; stardustpgcv=0606; im_notify_type_33717177=0; finger=b3372c5f; CURRENT_QUALITY=112; bp_t_offset_33717177=300203628285382610"

}
resp = requests.get('https://www.bilibili.com/video/av67946325',headers=headers)
print(resp.text)

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


网页题目：Python爬虫爬取Bilibili弹幕过程解析-创新互联
转载注明：http://scyanting.com/article/cdjcgi.html

其他资讯