Python爬虫Selenium库的详细用法
这篇文章主要介绍“Python爬虫Selenium库的详细用法”,在日常操作中,相信很多人在Python爬虫Selenium库的详细用法问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Python爬虫Selenium库的详细用法”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
创新互联建站服务项目包括会宁网站建设、会宁网站制作、会宁网页制作以及会宁网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,会宁网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到会宁省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!
在我们爬取网页过程中,经常发现我们想要获得的数据并不能简单的通过解析HTML代码获取,这些数据是通过AJAX异步加载方式或经过JS渲染后才呈现在页面上显示出来。
selenuim是一种自动化测试工具,它支持多种浏览器。而在爬虫中,我们可以使用它来模拟浏览器浏览页面,进而解决JavaScript渲染的问题。
1. 使用示例
2. 详细介绍
2.1 声明浏览器对象
即告诉程序,应该使用哪个浏览器进行操作
2.3 查找元素
成功访问网页后,我们可能需要进行一些操作,比如找到搜索框然后输入关键字再敲击回车键。
因此,就需要在selenium中查找元素。
2.3.1 单个元素
selenium查找元素有两种方法。
第一种,是指定使用哪种方法去查找元素,比如指定依照CSS选择或者依照xpath去进行查找
下面是详细的元素查找方法
find_element_by_name find_element_by_xpath find_element_by_link_text find_element_by_partial_link_text find_element_by_tag_name find_element_by_class_name find_element_by_css_selector
第二种,是直接使用find_element(),传入的第一个参数为需要使用的元素查找方法
2.3.2 多个元素
查找多个元素和查找单个元素的方法基本一致(只需要将查找单个元素的func里加一个s)。
查找多个元素返回的是一个list。
2.5 交互动作
交互动作是将动作附加到交互链中串行执行,需要使用到ActionChains。
2.6 执行JavaScript
比如拖拽下拉
2.8 Frame
如果定位到父frame,是无法查找到子frame的信息的,因此需要切换到子frame再进行查找。同理,在子frame也无法查找到父frame的信息
2.9.2 显式等待
显示等待包含了等待条件和等待时间。
首先判定等待条件是否成立,如果成立,则直接返回;如果条件不成立,则等待最长时间为等待时间,如果超过等待时间后仍然没有满足等待等待条件,则抛出异常。
显式等待是对指定的元素进行等待。
2.11 对Cookies进行操作
到此,关于“Python爬虫Selenium库的详细用法”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!
网页名称:Python爬虫Selenium库的详细用法
网页网址:http://scyanting.com/article/geccep.html