web爬虫中怎么用Selenium操作浏览器抓数据

小编给大家分享一下web爬虫中怎么用Selenium操作浏览器抓数据,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!

成都创新互联专注于资兴网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供资兴营销型网站建设,资兴网站制作、资兴网页设计、资兴网站官网定制、微信小程序服务,打造资兴网络公司原创品牌,更为您提供资兴网站排名全网营销落地服务。

Selenium是一个基于Web的开源自动化工具。Python使用Selenium用于自动化测试。 特点是易于使用。Selenium可以将标准Python命令发送到不同的浏览器,尽管它们的浏览器设计有所不同。

使用Selenium自动打开谷歌浏览器然后访问地址http://econpy.pythonanywhere.com/ex/001.html,并将改页面中的购买者姓名和商品价格抓取下来打印,然后自动关闭浏览器的操作。

分析页面源代码可知 购买者姓名和商品价格的html代码信息如下:

web爬虫中怎么用Selenium操作浏览器抓数据

使用Selenium自动打开谷歌浏览器的时候需要下载谷歌的驱动程序,我的谷歌浏览器版本为74:

web爬虫中怎么用Selenium操作浏览器抓数据

所以我们访问驱动程序下载地址:

https://sites.google.com/a/chromium.org/chromedriver/downloads

进行下载:

web爬虫中怎么用Selenium操作浏览器抓数据

然后我们要使用Selenium 需要进行安装,这里使用pip install selenium。

接下来开始编码部分:

#导入包from selenium import webdriver#打开谷歌浏览器 并访问要抓取数据的地址#注意:驱动chromedriver.exe与改python文件在同一个目录driver = webdriver.Chrome('chromedriver.exe') driver.get("http://econpy.pythonanywhere.com/ex/001.html")# 使用xpath找到购买者和商品价格元素列表buyers = driver.find_elements_by_xpath('//div[@title="buyer-name"]')prices = driver.find_elements_by_xpath('//span[@class="item-price"]')
# 打印所有信息num_page_items = len(buyers)for i in range(num_page_items):    print(buyers[i].text + " : " + prices[i].text)
#完成任务后 关闭浏览器driver.close()

运行结果部分内容为:

Carson Busses : $29.95Earl E. Byrd : $8.37Patty Cakes : $15.26Derri Anne Connecticut : $19.25Moe Dess : $19.25Leda Doggslife : $13.99Dan Druff : $31.57Al Fresco : $8.49。。。。。。

我简单录制了一下运行过程,由于单手操作录制,画面抖动,大家对付观看一下,过程为:运行程序,自动打开谷歌浏览器,访问地址,抓取数据打印,关闭浏览器完成

看完了这篇文章,相信你对“web爬虫中怎么用Selenium操作浏览器抓数据”有了一定的了解,如果想了解更多相关知识,欢迎关注创新互联行业资讯频道,感谢各位的阅读!


标题名称:web爬虫中怎么用Selenium操作浏览器抓数据
文章位置:http://scyanting.com/article/iieisj.html