Python中scrapy和scrapy-redis有哪些区别
小编给大家分享一下Python中scrapy和scrapy-redis有哪些区别,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
创新互联建站是专业的永清网站建设公司,永清接单;提供网站建设、成都网站设计,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行永清网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!
scrapy 是一个Python爬虫框架,爬取效率极高,具有高度定制性,但是不支持分布式。选择redis 数据库因为 redis支持主从同步,而且数据都是缓存在内存中的。
scrapy和scrapy-redis的区别
scrapy 是一个Python爬虫框架,爬取效率极高,具有高度定制性,但是不支持分布式。而 scrapy-redis 一套基于redis数据库、运行在 scrapy 框架之上的组件,可以让 scrapy 支持分布式策略,Slaver端共享 Master 端 redis 数据库里的 item 队列、请求队列和请求指集合。
为什么选择redis数据库?
选择redis 数据库因为 redis支持主从同步,而且数据都是缓存在内存中的,所以基于redis 的分布式爬虫,对请求和数据的高频读取效率非常高。
以上是“Python中scrapy和scrapy-redis有哪些区别”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
网页标题:Python中scrapy和scrapy-redis有哪些区别
分享链接:http://scyanting.com/article/jococi.html