Python怎么爬取图片之家
本篇内容主要讲解“Python怎么爬取图片之家”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Python怎么爬取图片之家”吧!
站在用户的角度思考问题,与客户深入沟通,找到遵化网站设计与遵化网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:成都做网站、网站设计、外贸营销网站建设、企业官网、英文网站、手机端网站、网站推广、国际域名空间、虚拟空间、企业邮箱。业务覆盖遵化地区。
前言
模拟浏览器
请求并获取网站数据
在原始数据中提取我们想要的数据 数据筛选
将筛选完成的数据做保存
完成一个爬虫需要哪些工具
Python3.6
pycharm 专业版
目标网站
图片之家
https://www.tupianzj.com/
爬虫代码
导入工具
python 自带的标准库
import ssl
系统库 自动创建保存文件夹
import os
下载包
import urllib.request
网络库 第三方包
import requests
网页选择器
from bs4 import BeautifulSoup
默认请求https网站不需要证书认证
ssl._create_default_https_context = ssl._create_unverified_context
模拟浏览器
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36', }
自动创建文件夹
if not os.path.exists('./插画素材/'): os.mkdir('./插画素材/') else: pass
请求操作
url = 'https://www.tupianzj.com/meinv/mm/meizitu/' html = requests.get(url, headers=headers).text
对页面原始数据做数据提取
soup = BeautifulSoup(html, 'lxml') images_data = soup.find('ul', class_='d1 ico3').find_all_next('li') for image in images_data: image_url = image.find_all('img') for _ in image_url: print(_['src'], _['alt'])
下载
try: urllib.request.urlretrieve(_['src'], './插画素材/' + _['alt'] + '.jpg') except: pass
到此,相信大家对“Python怎么爬取图片之家”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
分享名称:Python怎么爬取图片之家
文章链接:http://scyanting.com/article/ipsdoh.html