使用PHP怎么对百度阅读进行抓取-创新互联
这篇文章将为大家详细讲解有关使用PHP怎么对百度阅读进行抓取，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。
抓取方法如下
首先在浏览器里打开阅读页面，查看源代码后发现小说的内容并不是直接写在页面里的，也就是说小说的内容是通过异步加载而来的。
于是将chrome的开发者工具切到network一栏，刷新阅读页面，主要关注的是XHR和script两个分类下。
经过排查，发现在script分类下有个jsonp请求比较像是小说内容，请求的地址是
/tupian/20230522/49422a3769eae009581becba div等等，c属性就是内容了，但也有两种可能，一个是字符串，另一个是数组，数组的每个元素都是一个节点。
这种结构好解析了，用一个递归就搞定
最终代码如下：
bookId = $bookId;
$this->bookToken = $bookToken;
$this->cookie = $cookie;
}
public static function parseNode($node){
$str = '';
if(is_string($node['c'])){
$str .= $node['c'];
}else if(is_array($node['c'])){
foreach($node['c'] as $d){
$str .= self::parseNode($d);
}
}
switch($node['t']){
case 'h3':
$str .= "\n\n";
break;
case 'br':
case 'div':
case 'p':
$str .= "\n";
break;
case 'img':
case 'span':
break;
case 'obj':
$tmp = '(' . self::parseNode($node['data'][0]) . ')';
$str .= str_replace("\n", '', $tmp);
break;
default:
trigger_error('Unkown type:'.$node['t'], E_USER_WARNING);
break;
}
return $str;
}
public function get($page = 1){
echo "getting page {$page}...\n";
$ch = curl_init();
$url = sprintf('http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d', $this->bookId, $this->token, $page);
curl_setopt_array($ch, array(
CURLOPT_URL => $url,
CURLOPT_RETURNTRANSFER => 1,
CURLOPT_HEADER => 0,
CURLOPT_HTTPHEADER => array('Cookie: '. $this->cookie)
));
$ret = json_decode(curl_exec($ch), true);
curl_close($ch);
$str = '';
if(!empty($ret)){
$str .= self::parseNode($ret);
$str .= $this->get($page + 1);
}
return $str;
}
public function start(){
$this->result = $this->get();
}
public function getResult(){
return $this->result;
}
public function saveTo($path){
if(empty($this->result)){
trigger_error('Result is empty', E_USER_ERROR);
return;
}
file_put_contents($path, $this->result);
echo "save to {$path}\n";
}
}
//使用示例
$yuedu = new BaiduYuedu('49422a3769eae009581becba', '8ed1dedb240b11bf0731336eff95093f', '你的百度域cookie');
$yuedu->start();
$yuedu->saveTo('result.txt');这个类前两个参数可以从小说的介绍页面获得，第一个参数bookId就是url里ebook后面跟着的字符串，第二个参数bookToken在页面源代码搜索bdjsonUrl，m参数后面的那个字符串就是。
注：如果不传入百度cookie或者百度cookie无效，则只能抓取免费阅读部分，要抓完整的内容必须保证cookie可以正常使用。
关于使用PHP怎么对百度阅读进行抓取就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。
本文题目：使用PHP怎么对百度阅读进行抓取-创新互联
地址分享：http://scyanting.com/article/hsehp.html
