四川盐亭网站制作公司

怎么使用PHP实现轻量级简单爬虫

本篇内容介绍了“怎么使用PHP实现轻量级简单爬虫”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

稷山网站建设公司成都创新互联,稷山网站设计制作，有大型网站制作公司丰富经验。已为稷山近千家提供企业网站建设服务。企业网站搭建\成都外贸网站建设公司要多少钱，请找那个售后服务好的稷山做网站的公司定做！

爬虫的结构： 爬虫的原理其实很简单，就是分析下载的页面，找出其中的连接，然后再下载这些链接，再分析再下载，周而复始。在数据存储方面，数据库是首选，便于检索，而 开发语言，只要支持正则表达式就可以了，数据库我选择了MySQL，所以，开发脚本我选择了php。它支持perl兼容正则表达式，连接mysql很方 便，支持http下载，而且windows系统和linux系统都可以部署。

正则表达式: 正则表达式是处理文字的基本工具，要取出html中的链接和图片，使用的正则表达式如下。 代码如下:

 "#]+href=(['\"])(.+)\\1#isU"   处理链接
   "#]+src=(['\"])(.+)\\1#isU" 处理图片

其他问题: 写爬虫还需要注意的一个问题是，对于已经下载过的url，不能重复进行下载，而有些网页的链接会形成环路，所以需要处理这个问题，我的处理方法是计算已经 处理的url的MD5 值，并存入数据库，这样就可以检验是否已经下载过。当然还有更好的算法，有兴趣的话，可以在网上找一下。

相关协议: 爬虫也有自己的协议，有个robots.txt文件定义了那些是网站允许遍历的，但是由于我的时间有限，没有实现这个功能。

其他说明: php支持类编程,我写的爬虫主要的类. 1.url处理web_site_info，主要用处理url，分析域名等。 2.数据库操作mysql_insert.php,处理和数据库相关的操作。 3.历史记录处理，记录已经处理的url。 4.爬虫类。

存在的问题和不足

这个爬虫在小数据量的情况下，运行良好，但是在大数据量的情况下，历史记录处理类的效率就不是很高，通过在数据库结构中，对相关字段进行了索引，速度有了 提高，但是需要不断得读取数据，可能和php本身的array实现有关系，如果一次加载10万条历史记录，速度非常慢。 不支持多线程，每次只能处理一个url。 php运行本身有内存使用量限制 使用的时候，先在mysql中创建net_spider数据库，然后用db.sql创建相关表。再在config.php中设置mysql 的用户名口令。 最后 代码如下:

php -f spider.php 深度(数值) url

就可以开始工作。如 代码如下: php -f spider.php 20

现在感觉下来，其实做个爬虫没那么复杂，难的是数据的存储和检索。我现在的数据库，最大一个数据表已经15G，正在想办处理这些数据，mysql进 行查询已经感觉有点力不从心了。这点上还真佩服google

#加载页面
function curl_get($url){
   $ch=curl_init();
   curl_setopt($ch,CURLOPT_URL,$url);
   curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
   curl_setopt($ch,CURLOPT_HEADER,1);
   $result=curl_exec($ch);
   $code=curl_getinfo($ch,CURLINFO_HTTP_CODE);
   if($code!='404' && $result){
    return $result;
   }
   curl_close($ch);
}
#获取页面url链接
function get_page_urls($spider_page_result,$base_url){
 $get_url_result=preg_match_all("/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\]*).*?>/",$spider_page_result,$out);
 if($get_url_result){
   return $out[1];
 }else{
   return;
 }
}
#相对路径转绝对路径
function xdtojd($base_url,$url_list){
if(is_array($url_list)){
 foreach($url_list as $url_item){
   if(preg_match("/^(http:\/\/|https:\/\/|javascript:)/",$url_item)){
     $result_url_list[]=$url_item;
   }else {
    if(preg_match("/^\//",$url_item)){
     $real_url = $base_url.$url_item;
    }else{
     $real_url = $base_url."/".$url_item;
    }
    #$real_url = 'http://www.sumpay.cn/'.$url_item;
    $result_url_list[] = $real_url;
   }
 }
  return $result_url_list;
}else{
  return;
}
}
#删除其他站点url
function other_site_url_del($jd_url_list,$url_base){
if(is_array($jd_url_list)){
 foreach($jd_url_list as $all_url){
   echo $all_url;
   if(strpos($all_url,$url_base)===0){
    $all_url_list[]=$all_url;
   }  
 }
 return $all_url_list;
}else{
 return;
}
}
#删除相同URL
function url_same_del($array_url){
  if(is_array($array_url)){
    $insert_url=array();
    $pizza=file_get_contents("/tmp/url.txt");
    if($pizza){
       $pizza=explode("\r\n",$pizza);
       foreach($array_url as $array_value_url){
        if(!in_array($array_value_url,$pizza)){
         $insert_url[]=$array_value_url;
        }
       }
       if($insert_url){
          foreach($insert_url as $key => $insert_url_value){
            #这里只做了参数相同去重处理
            $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);
            foreach($pizza as $pizza_value){
               $update_pizza_value=preg_replace('/=[^&]*/','=leesec',$pizza_value);
               if($update_insert_url==$update_pizza_value){
                  unset($insert_url[$key]);
                  continue;
               }
            }
          }
       }    
    }else{
       $insert_url=array();
       $insert_new_url=array();
       $insert_url=$array_url;
       foreach($insert_url as $insert_url_value){
        $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);
        $insert_new_url[]=$update_insert_url;  
       }
       $insert_new_url=array_unique($insert_new_url);
       foreach($insert_new_url as $key => $insert_new_url_val){
         $insert_url_bf[]=$insert_url[$key];
       }
       $insert_url=$insert_url_bf;
    }
    return $insert_url;
  }else{
   return;
  }
}
 
$current_url=$argv[1];
$fp_puts = fopen("/tmp/url.txt","ab");//记录url列表
$fp_gets = fopen("/tmp/url.txt","r");//保存url列表
$url_base_url=parse_url($current_url);
if($url_base_url['scheme']==""){
 $url_base="http://".$url_base_url['host'];
}else{
 $url_base=$url_base_url['scheme']."://".$url_base_url['host'];
}
do{
 $spider_page_result=curl_get($current_url);
 #var_dump($spider_page_result);
 $url_list=get_page_urls($spider_page_result,$url_base);
 #var_dump($url_list);
 if(!$url_list){
  continue;
 }
 $jd_url_list=xdtojd($url_base,$url_list);
 #var_dump($jd_url_list);
 $result_url_arr=other_site_url_del($jd_url_list,$url_base);
 var_dump($result_url_arr);
 $result_url_arr=url_same_del($result_url_arr);
 #var_dump($result_url_arr);
 if(is_array($result_url_arr)){
   $result_url_arr=array_unique($result_url_arr);
      foreach($result_url_arr as $new_url) {
        fputs($fp_puts,$new_url."\r\n");
      }
 }
}while ($current_url = fgets($fp_gets,1024));//不断获得url
preg_match_all("/]+href=[\"']([^\"']+)[\"'][^>]+>/",$spider_page_result,$out);
# echo a href
#var_dump($out[1]);
?>

“怎么使用PHP实现轻量级简单爬虫”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！


当前文章：怎么使用PHP实现轻量级简单爬虫
网站路径：http://scyanting.com/article/jpehsi.html

其他资讯