php网页抓取数据处理 php抓取网页图片

PHP抓取网页指定内容

?php

创新互联坚持“要么做到，要么别承诺”的工作理念，服务领域包括：成都网站设计、网站制作、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的马村网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！

* 如下：方法有点笨

* 抓取网页内容用 PHP 的正则

* 用JS每隔5分钟刷新当前页面---即重新获取网页内容

* 注： $mode中--title/title-更改为所需内容（如 $mode = "#a(.*)/a#";获取所有链接）

* window.location.href="";中的

* 更改为自己的URL----作用：即刷新当前页面

* setInterval("ref()",300000);是每隔300000毫秒（即 5 * 60 *1000 毫秒即5分钟）执行一次函数 ref()

* print_r($arr);输出获得的所有内容 $arr是一个数组可根据所需输出一部分（如 echo $arr[1][0];）

* 若要获得所有内容可去掉

* $mode = "#title(.*)/title#";

if(preg_match_all($mode,$content,$arr)){

print_r($arr);

echo "br/";

echo $arr[1][0];

}

再加上 echo $content；

$url = ""; //目标站

$fp = @fopen($url, "r") or die("超时");

$content=file_get_contents($url);

$mode = "#title(.*)/title#";

if(preg_match_all($mode,$content,$arr)){

//print_r($arr);

echo "br/";

echo $arr[1][0];

}

script language="JavaScript" type="text/javascript"

function ref(){

window.location.href="";

}

setInterval("ref()",300000);

//--

/script

phpstudy怎么抓取网页数据

什么网页数据？

是打开本地网页还是打开网上网页

如果是本地网页的话在浏览器上输入127.0.0.1或者localhost进行访问

如果是外网我理解的是你要获取外网的一个网页，可以用代码或者程序来实现

（一般称为采集程序，或者小偷程序）

//个人认为curl好一点，因为curl可以模拟浏览器，有的网站会过滤机器人

//1.php代码

//把网页读入一个字符串

$contone = file_get_contents('url');

print_r($contone);

//curl采集

#初始化curl （true/false）

$ch=curl_init();

#请求url地址

$params[CURLOPT_URL]='网址';

#是否返回响应头信息

$params[CURLOPT_HEADER] = true;

#是否将结果返回

$params[CURLOPT_RETURNTRANSFER] = true;

#是否重定向

$params[CURLOPT_FOLLOWLOCATION] = true;

#伪造浏览器

$params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1';

curl_setopt_array($ch, $params);

$content=curl_exec($ch);

//输出网页内容

print_r($content);

//下面是整个curl采集类

class Curl{

#采集的地址

public $url;

#匹配的正则

public $preg;

#模拟登录需要的用户名

public $username;

#模拟登录需要的密码;

public $pwd;

#cookie存储的路径

private $cookie_path;

#采集数据的字符集

public $charset;

/**

* 构造方法，初始化采集基本信息

* @param $url 采集的url

* @param $preg 匹配的正则

* @param string $username 用户名

* @param string $pwd 密码

* @param string $charset 字符集

public function __construct($info){

extract($info);

$this-url=$url;

$this-preg=$preg;

if(isset($charset)){

header("content-type:text/html;charset=".$this-charset);

}else{

header("content-type:text/html;charset=utf-8");

}

if(isset($username)){

$this-username=$username;

}

if(isset($pwd)){

$this-pwd=$pwd;

}

* 采集数据，非表单提交方式，直接采集的

public function get_info(){

#初始化curl

$ch=curl_init();

#请求url地址

$params[CURLOPT_URL]=$this-url;

#是否返回响应头信息

$params[CURLOPT_HEADER] = true;

#是否将结果返回

$params[CURLOPT_RETURNTRANSFER] = true;

#是否重定向

$params[CURLOPT_FOLLOWLOCATION] = true;

#伪造浏览器

$params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1';

//判断是否有cookie,有的话直接使用

//if (isset($_COOKIE['cookie_jar']) ($_COOKIE['cookie_jar'] || is_file($_COOKIE['cookie_jar']))){

// $params[CURLOPT_COOKIEFILE] = $_COOKIE['cookie_jar']; //这里判断cookie

//} else {

// $cookie_jar = tempnam($this-cookie_path, 'cookie'); //产生一个cookie文件

// $params[CURLOPT_COOKIEJAR] = $cookie_jar; //写入cookie信息

// setcookie('cookie_jar', $cookie_jar); //保存cookie路径

//}

#开始发送请求，传入curl参数

curl_setopt_array($ch, $params);

$content=curl_exec($ch);

preg_match_all($this-preg,$content,$arr);

return $arr;

}

/**

* 采集远程图片

* @param $img 图片路径是一个数组

* @param $save_path 图片保存在你本地的路径

* @return bool

public function get_img($img,$save_path){

for($i=0;$icount($img);$i++) {

$res=@file_get_contents($img[$i]);

$img_type=substr($img[$i], strrpos($img[$i], "."));

$path=$save_path.time().rand(1,9999999).mt_rand() .$img_type;

$img[$i] = $path;

file_put_contents($path,$res);

}

return $img;

}

//登录后采集

public function register_info(){

//采集的信息需要先登录的就要先模拟登录

//设置cookie保存路径

$ch = curl_init();

//组装用户名和密码

$info['username'] = $this-username;

$info['password'] = $this-pwd;

//模拟表单提交

$params[CURLOPT_URL] = $this-url; //请求url地址

$params[CURLOPT_HEADER] = true; //是否返回响应头信息

$params[CURLOPT_RETURNTRANSFER] = true; //是否将结果返回

$params[CURLOPT_FOLLOWLOCATION] = true; //是否重定向

$params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1';

$postfields = '';

//将表单要提交的数据编程URL拼接方式

foreach ($info as $key = $value){

$postfields .= urlencode($key) . '=' . urlencode($value) . '';

}

$params[CURLOPT_POST] = true;

$params[CURLOPT_POSTFIELDS] = $postfields;

//判断是否有cookie,有的话直接使用

if (isset($_COOKIE['cookie_jar'])($_COOKIE['cookie_jar']||is_file($_COOKIE['cookie_jar']))){

$params[CURLOPT_COOKIEFILE] = $_COOKIE['cookie_jar']; //这里判断cookie

}else{

$cookie_jar = tempnam($this-cookie_path, 'cookie'); //产生一个cookie文件

$params[CURLOPT_COOKIEJAR] = $cookie_jar; //写入cookie信息

setcookie('cookie_jar', $cookie_jar); //保存cookie路径

}

curl_setopt_array($ch, $params); //传入curl参数

$content = curl_exec($ch); //执行

return $content;

}

使用PHP的cURL库进行网页抓取

使用PHP的cURL库可以简单和有效地去抓网页你只需要运行一个脚本然后分析一下你所抓取的网页然后就可以以程序的方式得到你想要的数据了无论是你想从从一个链接上取部分数据或是取一个XML文件并把其导入数据库那怕就是简单的获取网页内容 cURL 是一个功能强大的PHP库本文主要讲述如果使用这个PHP库

启用 cURL 设置

首先我们得先要确定我们的PHP是否开启了这个库你可以通过使用php_info()函数来得到这一信息

﹤?phpphpinfo();?﹥

如果你可以在网页上看到下面的输出那么表示cURL库已被开启

如果你看到的话那么你需要设置你的PHP并开启这个库如果你是在Windows平台下那么非常简单你需要改一改你的php ini文件的设置找到php_curl dll 并取消前面的分号注释就行了如下所示

//取消下在的注释extension=php_curl dll

如果你是在Linux下面那么你需要重新编译你的PHP了编辑时你需要打开编译参数——在configure命令上加上 –with curl 参数

一个小示例

如果一切就绪下面是一个小例程

﹤?php// 初始化一个 cURL 对象$curl = curl_init();

// 设置你需要抓取的URLcurl_setopt($curl CURLOPT_URL //cocre );

// 设置headercurl_setopt($curl CURLOPT_HEADER );

// 设置cURL 参数要求结果保存到字符串中还是输出到屏幕上 curl_setopt($curl CURLOPT_RETURNTRANSFER );

// 运行cURL 请求网页$data = curl_exec($curl);

// 关闭URL请求curl_close($curl);

// 显示获得的数据var_dump($data);

如何POST数据

上面是抓取网页的代码下面则是向某个网页POST数据假设我们有一个处理表单的网址// example /sendSMS php 其可以接受两个表单域一个是电话号码一个是短信内容

﹤?php$phoneNumber = ;$message = This message was generated by curl and php ;$curlPost = pNUMBER= urlencode($phoneNumber) MESSAGE= urlencode($message) SUBMIT=Send ;$ch = curl_init();curl_setopt($ch CURLOPT_URL // example /sendSMS php );curl_setopt($ch CURLOPT_HEADER );curl_setopt($ch CURLOPT_RETURNTRANSFER );curl_setopt($ch CURLOPT_POST );curl_setopt($ch CURLOPT_POSTFIELDS $curlPost);$data = curl_exec();curl_close($ch);?﹥

从上面的程序我们可以看到使用CURLOPT_POST设置HTTP协议的POST方法而不是GET方法然后以CURLOPT_POSTFIELDS设置POST的数据

　　关于代理服务器

下面是一个如何使用代理服务器的示例请注意其中高亮的代码代码很简单我就不用多说了

﹤?php $ch = curl_init();curl_setopt($ch CURLOPT_URL // example );curl_setopt($ch CURLOPT_HEADER );curl_setopt($ch CURLOPT_RETURNTRANSFER );curl_setopt($ch CURLOPT_HTTPPROXYTUNNEL );curl_setopt($ch CURLOPT_PROXY fakeproxy : );curl_setopt($ch CURLOPT_PROXYUSERPWD user:password );$data = curl_exec();curl_close($ch);?﹥ 关于SSL和Cookie

关于SSL也就是HTTPS协议你只需要把CURLOPT_URL连接中的//变成//就可以了当然还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点

关于Cookie 你需要了解下面三个参数

CURLOPT_COOKIE 在当面的会话中设置一个cookie

CURLOPT_COOKIEJAR 当会话结束的时候保存一个Cookie

CURLOPT_COOKIEFILE Cookie的文件

HTTP服务器认证

最后我们来看一看HTTP服务器认证的情况

﹤?php $ch = curl_init();curl_setopt($ch CURLOPT_URL // example );curl_setopt($ch CURLOPT_RETURNTRANSFER );curl_setopt($ch CURLOPT_HTTPAUTH CURLAUTH_BASIC);curl_setopt(CURLOPT_USERPWD [username]:[password] )

$data = curl_exec();curl_close($ch);?﹥

关于其它更多的内容请参看相关的cURL手册 lishixinzhi/Article/program/PHP/201311/21491

如何利用php抓取网站动态产生的数据

$url = "网站地址目录";

$queryServer = curl_init();

curl_setopt($queryServer, CURLOPT_URL, $url);

curl_setopt($queryServer, CURLOPT_HEADER, 0);

curl_setopt($queryServer, CURLOPT_RETURNTRANSFER, 1);

curl_setopt($queryServer, CURLOPT_RETURNTRANSFER, true);

curl_setopt($queryServer, CURLOPT_CONNECTTIMEOUT, 10);

curl_setopt($queryServer, CURLOPT_TIMEOUT, 30);

$html = curl_exec($queryServer);

$html = iconv('UTF-8','GBK//IGNORE',$html); //如果你需要是的数据是utf-8编码的,这一行可以注销，如果需要gbk编码的,请保留.如果出现乱码，就是一行的问题，你自己调着试吧

//echo $holder;exit; 此处可以输出来测试.

$html = str_replace(array("\n","\r","\t"),"",$html);

$preg = '/table\s+width=\"800\"[^]+(.*?)\/table/';

preg_match_all($preg,$html,$out);

//匹配每行

preg_match_all('/tr[^]+(.*?)\/tr/',$out[1][0],$tr);

//匹配每个td

$result = array();

$match = '/td.+([^]+)\/td/U';

foreach( $tr[0] as $key = $value ){

preg_match_all($match,$value,$arr);

$result[] = $arr[1];

}

//输出测试,$result就是你要的数据，至于你要怎么输出显示格式，那就随心调就好了。

foreach( $result as $key = $value ){

echo implode("\t",$value);

echo "br";

}

exit;

PHP怎样抓取网页代码中动态显示的数据

PHP Simple HTML DOM或者phpQuery可以直接取得某些div中的内容，里面有几个例子专门针对于网页抓取，调整好抓取频次，舍去已经存在的数据，你可以参考下

;id=57class=2

PHP怎样抓取网页代码中动态（Ajax）显示的数据

你是想抓别人网页上ajax动态载入的数据吧？ 1、要找到它的ajax载入的URL地址 2、利用PHP的file_get_contents($url)函数读取那个url地址。 3、对抓取到的内容进行分析或正则过滤。

分享题目：php网页抓取数据处理 php抓取网页图片
文章转载：http://scyanting.com/article/hgidpc.html

php网页抓取数据处理 php抓取网页图片

PHP抓取网页指定内容

phpstudy怎么抓取网页数据

使用PHP的cURL库进行网页抓取

如何利用php抓取网站动态产生的数据

PHP怎样抓取网页代码中动态显示的数据

PHP怎样抓取网页代码中动态（Ajax）显示的数据

其他资讯