selenium使用如何用python抓取js生成的数据?-创新互联

如何用python抓取js生成的数据?有几种方法,如phantomJS、WebKit、selenium等。如果您对爬行的性能没有任何要求,请尝试selenium或Watir。Web自动化测试脚本可以很好地使用它做很多事情。使用浏览器执行JS,然后从dom获取数据。另一方面,如果你知道JS是通过Ajax或者API获取数据的,你可以直接获取数据源,得到JSON或者XML,然后处理数据selenium使用 如何用py
thon抓取js生成的数据?

这个问题真的很麻烦。以前没有解决过。虽然selenium可以执行JS脚本,但是它不能读取返回值,或者JS获得的返回值不能与Python交互,这也是一种异常的痛苦。我能想到的是,JS模拟Ajax操作,获取返回值,然后用JS将返回值写入web页面。您可以在代码之后添加一个新元素来编辑返回值(以防止特殊字符影响解析),将其写入元素的值,然后使用selenium的find_u2;element定位元素并获取值。

成都创新互联是一家专注于成都网站设计、网站制作与策划设计,泗县网站建设哪家好?成都创新互联做网站,专注于网站建设10年,网设计领域的专业建站公司;建站业务涵盖:泗县等地区。泗县做网站价格咨询:028-86922220selenium如何将js定位value取到?

1、看相应的JS代码,用Python获取原始数据,模仿JS编写相应的Python代码。

2、通过接口API获取数据,直接使用Python获取和处理接口数据。

三。终极方法。使用selenium和phantom-JS执行web页面的JS代码,获取数据。这种方法可以得到100%的数据,但速度太慢。

如何用python抓取js生成的数据?

应使用Get属性方法:驱动程序。查找元素按xpath(“//*[@id=”keyuucompany$value“]”)。getuAttribute(“value”)一定能解决您的问题。getattribute获取标签的属性值:您还可以获取img、a、table和input的属性值

如果您对爬网性能没有任何要求,请尝试selenium或Watir。Web自动化测试脚本可以很好地使用它做很多事情。使用浏览器执行JS,然后从dom获取数据。另一方面,如果您知道JS是通过Ajax或API获取数据的,那么直接转到数据源,获取JSON或XML,然后处理数据


文章标题:selenium使用如何用python抓取js生成的数据?-创新互联
网站网址:http://scyanting.com/article/jjjdh.html