python爬取贴吧图片并下载-创新互联
# cording = utf-8
import urllib2
import urllib
import re
import random
import time
def get_url(url):
Agent_list = ['Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36',
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11"]
ip_list = ['123.169.165.255:9999','117.69.13.64:9999','223.198.1.147:9999']
user_agent = random.choice(Agent_list)
httpproxy_handler = urllib2.ProxyHandler({'http':random.choice(ip_list)})
opener = urllib2.build_opener(httpproxy_handler)
urllib2.install_opener(opener)
page = urllib2.Request(url)
page.add_header('User-Agent',user_agent)
response = urllib2.urlopen(page)
html = response.read()
return html
def down_img(html):
reg = r'src="(http:.+?\.jpg)'
urlre = re.compile(reg)
imglist = re.findall(urlre,html)
for img in imglist:
filename = img.split("/")[-1]
urllib.urlretrieve(img,filename,None)
while True:
url = raw_input("请输入下载图片的贴吧地址:")
if url == q:
print("运行终止!")
break
else:
print('开始获取网页信息...')
get_url(url)
print('获取网页信息成功!')
print('开始下载图片...')
down_img(get_url(url))
print('图片下载完成!')
timesleep(3)
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
创新互联专注于桃城网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供桃城营销型网站建设,桃城网站制作、桃城网页设计、桃城网站官网定制、重庆小程序开发服务,打造桃城网络公司原创品牌,更为您提供桃城网站排名全网营销落地服务。文章名称:python爬取贴吧图片并下载-创新互联
分享网址:http://scyanting.com/article/dsdpcd.html