爬虫可以用的http代理ip有哪些
这篇文章主要为大家展示了“爬虫可以用的http代理ip有哪些”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“爬虫可以用的http代理ip有哪些”这篇文章吧。
创新互联为客户提供专业的网站设计、网站制作、程序、域名、空间一条龙服务,提供基于WEB的系统开发. 服务项目涵盖了网页设计、网站程序开发、WEB系统开发、微信二次开发、移动网站建设等网站方面业务。
一、每个过程界面随机取得IP列表反复使用,无效后调用API获得。
大致逻辑如下:
1、各过程,从接口随机回收ip的一部分,反复尝试ip目录来捕捉数据
2、如果访问成功,继续抓住下一个。
3、失败后,从界面取IP,继续尝试。
方案缺点:所有IP都有期限,提取100个,使用第20个时,其馀的可能不能使用。设置HTTP请求时连接时间超过3秒,读取时间超过5秒,可能需要3~8秒,在这3~8秒内可能抓住数百次。
二、首先抽取大量的IP,导入本地数据库,然后从数据库中抽取IP。
通用的逻辑如下:
1、在数据库中创建一个表格,写出每分钟需要多少次API的导入脚本(请咨询代理IP服务提供者的建议),并将IP清单导入数据库。
2、将导入时间、IP、端口、过期时间、IP可用状态等字段记录到数据库中;
3、编写一个抓取脚本,该抓取脚本从数据库中读取可用IP,每个过程都从数据库中获取一个IP用法。
4、进行抓取、判断结果、处理cookie等,只要出现验证码或错误,就放弃IP,重新更换IP。
以上是“爬虫可以用的http代理ip有哪些”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
网页标题:爬虫可以用的http代理ip有哪些
转载注明:http://scyanting.com/article/pesodj.html