Python爬虫后如何获取重定向url
小编给大家分享一下Python爬虫后如何获取重定向url,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
我们注重客户提出的每个要求,我们充分考虑每一个细节,我们积极的做好成都做网站、网站制作服务,我们努力开拓更好的视野,通过不懈的努力,创新互联赢得了业内的良好声誉,这一切,也不断的激励着我们更好的服务客户。 主要业务:网站建设,网站制作,网站设计,微信小程序开发,网站开发,技术开发实力,DIV+CSS,PHP及ASP,ASP.Net,SQL数据库的技术开发工程师。
python的数据类型有哪些?
python的数据类型:1. 数字类型,包括int(整型)、long(长整型)和float(浮点型)。2.字符串,分别是str类型和unicode类型。3.布尔型,Python布尔类型也是用于逻辑运算,有两个值:True(真)和False(假)。4.列表,列表是Python中使用最频繁的数据类型,集合中可以放任何数据类型。5. 元组,元组用”()”标识,内部元素用逗号隔开。6. 字典,字典是一种键值对的集合。7. 集合,集合是一个无序的、不重复的数据组合。
我们在使用python写爬虫在爬取页面时会遇到网页被重定向的情况,当点点击一个网页跳转到另一个页面,URL的地址都会改变,会导致无法请求到数据。Python爬虫后获取重定向url的两种方法:1、导入urllib库获得重定向url;2、设置浏览器代理,请求网页。
方法一:导入urllib库获得重定向url
# 获得重定向url from urllib import request # https://zhidao.baidu.com/question/681501874175782812.html url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9 JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596" print(request.urlopen(url).geturl())
方法二:设置浏览器代理,请求网页。
# 请求头,这里我设置了浏览器代理 headers = headers = {'User-Agent': 'xx'} # 这里chrome的user-agent获取方式:在浏览器地址栏输入 about://version 即可得到结果 url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3 zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596" # 请求网页 response = requests.get(url, headers=headers) # print(response.status_code) # 打印响应的状态码 print(response.url) # 打印重定向后的网址
以上是“Python爬虫后如何获取重定向url”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
本文名称:Python爬虫后如何获取重定向url
文章来源:http://scyanting.com/article/gieecg.html