Mac环境下如何使用PythonScrapy框架

这篇文章主要介绍了Mac环境下如何使用Python Scrapy框架,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

创新互联专注为客户提供全方位的互联网综合服务,包含不限于成都做网站、成都网站设计、固镇网络推广、微信平台小程序开发、固镇网络营销、固镇企业策划、固镇品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联为所有大学生创业者提供固镇建站搭建服务,24小时服务热线:028-86922220,官方网址:www.cdcxhl.com

前言

Scrapy的下载

在终端中输入代码'pip3 install scrapy'。

Mac环境下如何使用Python Scrapy框架

创建Scrapy项目

假设你希望将项目保存至桌面名为Python的文件夹中。可以在终端中输入'cd ',并将Python文件夹拖拽至其后。换行后,继续输入'scrapy startproject ScrapyProject',此处的ScrapyProject为该项目的名字,可根据情况自行定义。

Mac环境下如何使用Python Scrapy框架

创建爬虫文件

同样在ScrapyProject文件夹内,找到spiders文件夹,并在内创建一个新的爬虫文件,如下图的book.py。(需要与_pychache_及_init_文件同级。)

编辑爬虫文件

此处的爬虫文件为整个Scrapy项目的核心,数据的解析与提取都是在这一步进行的。

Mac环境下如何使用Python Scrapy框架

运行Scrapy程序

在ScrapyProject文件夹内,找到settings.py文档,并更改好user_agent相关信息。之后再在终端输入代码scrapy crawl book即可。(book为此爬虫的名字。)

注:上述内容皆为Mac环境下的操作。

感谢你能够认真阅读完这篇文章,希望小编分享的“Mac环境下如何使用Python Scrapy框架”这篇文章对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,更多相关知识等着你来学习!


本文题目:Mac环境下如何使用PythonScrapy框架
网址分享:http://scyanting.com/article/jjjssi.html