Python爬虫爬取商品失败怎么办

这篇文章主要介绍Python爬虫爬取商品失败怎么办,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

创新互联建站专注为客户提供全方位的互联网综合服务,包含不限于成都做网站、网站设计、西安网络推广、小程序开发、西安网络营销、西安企业策划、西安品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联建站为所有大学生创业者提供西安建站搭建服务,24小时服务热线:13518219792,官方网址:www.cdcxhl.com

1.登陆网站,开启开发者模式。

可以在浏览器中点击右键检查或者F12打开开发者模式。

2.点选 NetWork,DOC,然后刷新页面。

在 network 中选择 doc,在请求的 headers 中搜索 cookie。

3.获取对应的 cookie 以及 user-agent。

4.在代码中添加到 headers 里面。

def getHTMLText(url):
  kv = {
    'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'
    'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
  }
    try:
    r = requests.get(url, headers=kv, timeout=30)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    return r.text
  except:
    return "gg"

当然如果出现ip高频率访问限制的问题,还是需要通过更换ip来解决

以上是“Python爬虫爬取商品失败怎么办”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!


当前标题:Python爬虫爬取商品失败怎么办
本文网址:http://scyanting.com/article/jedcjp.html