Python中selenium打包静态网页并下载的方法-创新互联
这篇文章主要介绍了Python中selenium打包静态网页并下载的方法,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。
创新互联服务项目包括尉氏网站建设、尉氏网站制作、尉氏网页制作以及尉氏网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,尉氏网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到尉氏省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!需求:单纯的将page.source写入文件的方式,会导致一些图片无法显示,对于google浏览器,直接将页面打包下载成一个mhtml格式的文件,则可以进行离线下载。对应python selenium 微信公众号历史文章随手一点就返回首页?郁闷之下只好将他们都下载下来。:https://www.jb51.net/article/193111.htm
遇到的问题:
1、单纯使用webdriver.ActionChains无法完成下载动作,未能操作windows窗口。
2、没有找到相关能直接下载.mhtml的命名接口。
3、pywin32置顶窗口的使用不顺利。
解决思路:
1、使用selnium打开浏览器,不要操作,让其保持置顶
2、使用pyautogui、pyperclip操作键盘、鼠标、剪切板进行下载文件。
准备材料:
需要将自动化操作的一些图片截取下来,以作为后期图片匹配使用。
实现:
1、打开爬取好的链接,遍历所有需要下载的页面
# 读取文件 filename = r'data/01 爬取微信公众号历史文章/urls 二律背反的一灯如豆-out.xlsx' df = pd.read_excel(filename,dtype=object) df = df.reindex(columns=['日期', '标题', '原创', '地址','完成情况','储存地址']) #df = df.head(5) dfsel = (df['标题'] !='随文') & (df['完成情况'] != 1) save_folder = r"I:\code\python\data\01 爬取微信公众号历史文章\01 二律背反的一灯如豆" + "\\" # 设置保存格式为 mhtml,减少要操作文件保存下拉框的情况 options = webdriver.ChromeOptions() options.add_argument('--save-page-as-mhtml') # 启动浏览器 driver = webdriver.Chrome(options=options) wait = WebDriverWait(driver,10) df.loc[dfsel,"完成情况"],df.loc[dfsel,"储存地址"] = zip(*df[dfsel].apply(download_mhtml_with_not_check, axis=1,args=(driver,wait)))
文章名称:Python中selenium打包静态网页并下载的方法-创新互联
网站链接:http://scyanting.com/article/ceesjh.html