Docker如何部署Scrapy

这篇文章将为大家详细讲解有关Docker如何部署Scrapy,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

在偏关等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都网站建设、网站设计 网站设计制作按需求定制开发,公司网站建设,企业网站建设,高端网站设计,营销型网站建设,成都外贸网站建设,偏关网站建设费用合理。

假设我们要在10台Ubuntu 部署爬虫如何搞之?用传统的方法会吐血的,除非你记录下来每个步骤,然后步骤之间的次序还完全一样,这样才行。但是这样还是累啊,个别软件下载又需要时间。所以Docker出现了。Docker把系统,各种需要的应用,还有设置编译成一个image,然后 run一下就可以了。跟虚拟机的区别是不需要而外的物理支持,共用的。

1. 部署步骤

1.1 上传本地scrapy爬虫代码除了settings外到git 服务器

1.2 编写Dockerfile文件,把settings和requirements.txt 也拷贝到image里,一起打包成一个image

Dockerfile内容:

1.6 命令进去后,git clone 1.1中的爬虫,然后复制images里的settings到爬虫目录,然后执行scrapy crawl xxx即可

关于“Docker如何部署Scrapy”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

原文链接:http://www.waitingfy.com/archives/3249


网站标题:Docker如何部署Scrapy
文章出自:http://scyanting.com/article/gegocd.html