Python3爬虫中Redis数据库的基本操作有哪些-创新互联
创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商,新人活动买多久送多久,划算不套路!
成都创新互联公司是一家专业提供广平企业网站建设,专注与网站设计、做网站、H5高端网站建设、小程序制作等业务。10年已为广平众多企业、政府机构等服务。创新互联专业网站制作公司优惠进行中。这篇文章主要介绍了Python3爬虫中Redis数据库的基本操作有哪些,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。
Redis是一个基于内存的高效的键值型非关系型数据库,存取效率极高,而且支持多种存储数据结构,使用也非常简单。
1. 准备工作
在开始之前,请确保已经安装好了Redis及RedisPy库。如果要做数据导入/导出操作的话,还需要安装RedisDump。如果没有安装,可以参考第1章。
2. Redis和StrictRedis
RedisPy库提供两个类Redis和StrictRedis来实现Redis的命令操作。
StrictRedis实现了绝大部分官方的命令,参数也一一对应,比如set()方法就对应Redis命令的set方法。而Redis是StrictRedis的子类,它的主要功能是用于向后兼容旧版本库里的几个方法。为了做兼容,它将方法做了改写,比如lrem()方法就将value和num参数的位置互换,这和Redis命令行的命令参数不一致。
官方推荐使用StrictRedis,所以本节中我们也用StrictRedis类的相关方法作演示。
3. 连接Redis
现在我们已经在本地安装了Redis并运行在6379端口,密码设置为foobared。那么,可以用如下示例连接Redis并测试:
from redis import StrictRedis redis = StrictRedis(host='localhost', port=6379, db=0, password='foobared') redis.set('name', 'Bob') print(redis.get('name'))
这里我们传入了Redis的地址、运行端口、使用的数据库和密码信息。在默认不传的情况下,这4个参数分别为localhost、6379、0和None。首先声明了一个StrictRedis对象,接下来调用set()方法,设置一个键值对,然后将其获取并打印。
运行结果如下:
b'Bob'
这说明我们连接成功,并可以执行set()和get()操作了。
当然,我们还可以使用ConnectionPool来连接,示例如下:
from redis import StrictRedis, ConnectionPool pool = ConnectionPool(host='localhost', port=6379, db=0, password='foobared') redis = StrictRedis(connection_pool=pool)
这样的连接效果是一样的。观察源码可以发现,StrictRedis内其实就是用host和port等参数又构造了一个ConnectionPool,所以直接将ConnectionPool当作参数传给StrictRedis也一样。
另外,ConnectionPool还支持通过URL来构建。URL的格式支持有如下3种:
redis://[:password]@host:port/db rediss://[:password]@host:port/db unix://[:password]@/path/to/socket.sock?db=db
这3种URL分别表示创建Redis TCP连接、Redis TCP+SSL连接、Redis UNIX socket连接。我们只需要构造上面任意一种URL即可,其中password部分如果有则可以写,没有则可以省略。下面再用URL连接演示一下:
url = 'redis://:foobared@localhost:6379/0' pool = ConnectionPool.from_url(url) redis = StrictRedis(connection_pool=pool)
这里我们使用第一种连接字符串进行连接。首先,声明一个Redis连接字符串,然后调用from_url()方法创建ConnectionPool,接着将其传给StrictRedis即可完成连接,所以使用URL的连接方式还是比较方便的。
4. 键操作
表5-5总结了键的一些判断和操作方法。
表5-5 键的一些判断和操作方法
5. 字符串操作
Redis支持最基本的键值对形式存储,用法总结如表5-6所示。
表5-6 键值对形式存储
6. 列表操作
Redis还提供了列表存储,列表内的元素可以重复,而且可以从两端存储,用法如表5-7所示。
表5-7 列表操作
7. 集合操作
Redis还提供了集合存储,集合中的元素都是不重复的,用法如表5-8所示。
表5-8 集合操作
8. 有序集合操作
有序集合比集合多了一个分数字段,利用它可以对集合中的数据进行排序,其用法总结如表5-9所示。
表5-9 有序集合操作
9. 散列操作
Redis还提供了散列表的数据结构,我们可以用name指定一个散列表的名称,表内存储了各个键值对,用法总结如表5-10所示。
表5-10 散列操作
10. RedisDump
RedisDump提供了强大的Redis数据的导入和导出功能,现在就来看下它的具体用法。
首先,确保已经安装好了RedisDump。
RedisDump提供了两个可执行命令:redis-dump用于导出数据,redis-load用于导入数据。
redis-dump
首先,可以输入如下命令查看所有可选项:
redis-dump -h
运行结果如下:
Usage: redis-dump [global options] COMMAND [command options] -u, --uri=S Redis URI (e.g. redis://hostname[:port]) -d, --database=S Redis database (e.g. -d 15) -s, --sleep=S Sleep for S seconds after dumping (for debugging) -c, --count=S Chunk size (default: 10000) -f, --filter=S Filter selected keys (passed directly to redis' KEYS command) -O, --without_optimizations Disable run time optimizations -V, --version Display version -D, --debug --nosafe
其中-u代表Redis连接字符串,-d代表数据库代号,-s代表导出之后的休眠时间,-c代表分块大小,默认是10000,-f代表导出时的过滤器,-O代表禁用运行时优化,-V用于显示版本,-D表示开启调试。
我们拿本地的Redis做测试,运行在6379端口上,密码为foobared,导出命令如下:
redis-dump -u :foobared@localhost:6379
如果没有密码的话,可以不加密码前缀,命令如下:
redis-dump -u localhost:6379
运行之后,可以将本地0至15号数据库的所有数据输出出来,例如:
{"db":0,"key":"name","ttl":-1,"type":"string","value":"James","size":5} {"db":0,"key":"name2","ttl":-1,"type":"string","value":"Durant","size":6} {"db":0,"key":"name3","ttl":-1,"type":"string","value":"Durant","size":6} {"db":0,"key":"name4","ttl":-1,"type":"string","value":"HelloWorld","size":10} {"db":0,"key":"name5","ttl":-1,"type":"string","value":"James","size":5} {"db":0,"key":"name6","ttl":-1,"type":"string","value":"James","size":5} {"db":0,"key":"age","ttl":-1,"type":"string","value":"1","size":1} {"db":0,"key":"age2","ttl":-1,"type":"string","value":"-5","size":2}
每条数据都包含6个字段,其中db即数据库代号,key即键名,ttl即该键值对的有效时间,type即键值类型,value即内容,size即占用空间。
如果想要将其输出为JSON行文件,可以使用如下命令:
redis-dump -u :foobared@localhost:6379 > ./redis_data.jl
这样就可以成功将Redis的所有数据库的所有数据导出成JSON行文件了。
另外,可以使用-d参数指定某个数据库的导出,例如只导出1号数据库的内容:
redis-dump -u :foobared@localhost:6379 -d 1 > ./redis.data.jl
如果只想导出特定的内容,比如想导出以adsl开头的数据,可以加入-f参数用来过滤,命令如下:
redis-dump -u :foobared@localhost:6379 -f adsl:* > ./redis.data.jl
其中-f参数即Redis的keys命令的参数,可以写一些过滤规则。
redis-load
同样,我们可以首先输入如下命令查看所有可选项:
redis-load -h
运行结果如下:
redis-load --help Try: redis-load [global options] COMMAND [command options] -u, --uri=S Redis URI (e.g. redis://hostname[:port]) -d, --database=S Redis database (e.g. -d 15) -s, --sleep=S Sleep for S seconds after dumping (for debugging) -n, --no_check_utf8 -V, --version Display version -D, --debug --nosafe
其中-u代表Redis连接字符串,-d代表数据库代号,默认是全部,-s代表导出之后的休眠时间,-n代表不检测UTF-8编码,-V表示显示版本,-D表示开启调试。
我们可以将JSON行文件导入到Redis数据库中:
< redis_data.json redis-load -u :foobared@localhost:6379
这样就可以成功将JSON行文件导入到数据库中了。
另外,下面的命令同样可以达到同样的效果:
cat redis_data.json | redis-load -u :foobared@localhost:6379
感谢你能够认真阅读完这篇文章,希望小编分享Python3爬虫中Redis数据库的基本操作有哪些内容对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联-成都网站建设公司行业资讯频道,遇到问题就找创新互联,详细的解决方法等着你来学习!
分享标题:Python3爬虫中Redis数据库的基本操作有哪些-创新互联
文章网址:http://scyanting.com/article/dogpio.html