怎么把Reids的7千万个Key删完
本篇内容主要讲解“怎么把Reids的7千万个Key删完”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“怎么把Reids的7千万个Key删完”吧!
创新互联为企业级客户提高一站式互联网+设计服务,主要包括网站建设、网站制作、重庆App定制开发、小程序定制开发、宣传片制作、LOGO设计等,帮助客户快速提升营销能力和企业形象,创新互联各部门都有经验丰富的经验,可以确保每一个作品的质量和创作周期,同时每年都有很多新员工加入,为我们带来大量新的创意。
难点分析
共用redis服务集群
由于这条业务线的数据在Redis大概在3G左右,完全没必要单独建一个Redis服务集群,本着能节约就节约的态度,当初就决定和其他项目共享一个集群(这个集群配置:16个节点,128G内存,还算豪华吧~)集群配置如下:
在这种共用集群的情况下,导致无法简单粗暴的释放。因此只能选择删除Key的方式。
Key命名不规范
要删除Key,首先就要精准的定位出哪些Key需要删除,如果勿删Key,会影响到其他服务正常运转!如果Key本身设置了过期时间,但有些数据需是持久化的。然而那该死的项目经理一直催项目进度,导致开发人员在开发过程中很多地方都没有设计到位,比如Redis Key散落在项目代码的每个角落;比如命名不是很规范。真不知道是怎么review代码!哦,想必是没有时间review,那该死的项目经理……
我随便截个支付服务中的Key命名:
怎么样?是不是觉得我们开发人员写的代码很low~别笑,在实际工作中,还有比这更low的!希望你别遇到,不然真的很痛苦~
解决思路
经过以上的分析,我们简单归纳如下:
我们真正关心的是那些未设置过期时间的Key
不能误删除Key,否则下个月绩效也没了
由于Key的命名及使用及其不规范,导致Key的定位难度很大
看来,通过scan命令扫描匹配Key的方式行不通了。只能通过人肉搜索了~
幸而Idea的搜索大法好,这个项目中使用的是spring-boot-starter-data-redis.因此我通过搜索RedisTemplate和StringRedisTemplate定位所有操作redis的代码,具体步骤如下:
1、通过这些代码统计出Key的前缀并录入到文本中;
2、通过python脚本把载入文中中的的Key并在后面加上“*”通配符;
3、通过python脚本通过scan命令扫描出这些key;
4、为了便于检查,我们并没有直接使用del命令删除key,在删除key之前,先通过debug object key的方式得到其序列化的长度,再执行删除并返回序列化长度。这样,我们就可以统计出所有key的序列化长度来得到我们释放的空间大小。关键代码如下:
def get_key(rdbConn,start): try: keys_list = rdbConn.scan(start,count=2000) return keys_list exceptException,e: print e ''' Redis DEBUG OBJECT command got key info ''' def get_key_info(rdbConn,keyName): try: rpiple = rdbConn.pipeline() rpiple.type(keyName) rpiple.debug_object(keyName) rpiple.ttl(keyName) key_info_list = rpiple.execute() return key_info_list exceptException,e: print"INFO : ",e def redis_key_static(key_info_list): keyType = key_info_list[0] keySize = key_info_list[1]['serializedlength'] keyTtl = key_info_list[2] key_size_static(keyType,keySize,keyTtl)
通过以上方式,能够统计出究竟释放了多少内存了。
由于这个集群是有这么接近7千万个key:
因此,等到了第二天天亮,我睡眼朦胧的看了一下,终于删除完毕了,时间07:13...早高峰即将来临……
知耻而后勇
从来没有经历过因业务下线而清除资源的经验。这次事情真心让我觉得细微之处见真功夫的道理。如果一开始我们就能够遵循开发规范来使用和设计redis key,也不至于浪费这么多时间。为了让key的命名和使用更加规范,以及今后避免再次遇到这种情况,下午睡醒之后,我就在redis公共组件库里面添加了一个配置和自定义了key序列化,代码如下:
@ConfigurationProperties(prefix = "spring.redis.prefix") publicclassRedisKeyPrefixProperties{ privateBoolean enable = Boolean.TRUE; privateString key; publicBoolean getEnable() { return enable; } publicvoid setEnable(Boolean enable) { this.enable = enable; } publicString getKey() { return key; } publicvoid setKey(String key) { this.key = key; } }
/** * @desc 对字符串序列化新增前缀 * @author create by liming sun on 2020-07-21 14:09:51 */ publicclassPrefixStringKeySerializerextendsStringRedisSerializer{ privateCharset charset = StandardCharsets.UTF_8; privateRedisKeyPrefixProperties prefix; publicPrefixStringKeySerializer(RedisKeyPrefixProperties prefix) { super(); this.prefix = prefix; } @Override publicString deserialize(@Nullablebyte[] bytes) { String saveKey = newString(bytes, charset); if(prefix.getEnable() != null&& prefix.getEnable()) { String prefixKey = spliceKey(prefix.getKey()); int indexOf = saveKey.indexOf(prefixKey); if(indexOf > 0) { saveKeysaveKey = saveKey.substring(indexOf); } } return(saveKey.getBytes() == null? null: saveKey); } @Override publicbyte[] serialize(@NullableString key) { if(prefix.getEnable() != null&& prefix.getEnable()) { key = spliceKey(prefix.getKey()) + key; } return(key == null? null: key.getBytes(charset)); } privateString spliceKey(String prefixKey) { if(StringUtils.isNotBlank(prefixKey) && !prefixKey.endsWith(":")) { prefixKeyprefixKey = prefixKey + "::"; } return prefixKey; } }
使用效果
为了避免再次发生这种工作低效而又不得不做的事情,我们在开发规范中规定,新项目中redis的使用必须设置此配置,前缀就设置为:项目编号。另外,一个模块中的key必须统一定义在二方库的RedisKeyConstant类中。配置如下:
spring: redis: prefix: enable: true key: E00P01
@Bean publicRedisTemplateredisTemplate(RedisConnectionFactory redisConnectionFactory) { RedisTemplate redisTemplate = newRedisTemplate<>(); redisTemplate.setConnectionFactory(redisConnectionFactory); // 支持key前缀设置的key Serializer redisTemplate.setKeySerializer(newPrefixStringKeySerializer()); redisTemplate.setValueSerializer(newGenericJackson2JsonRedisSerializer()); return redisTemplate; }
通过以上方式,我们至少可以从项目维度来区分出key,避免了多个项目之间共用同一个集群时而导致重复key的问题。从项目维度对key进行了划分。更方便管理和运维。如果对于key的管理粒度要求更细,我们甚至可以细化到具体业务维度。我们在测试环境进行了压测,增加key前缀对redis性能几乎没有影响。性能方面能接受。
到此,相信大家对“怎么把Reids的7千万个Key删完”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
本文题目:怎么把Reids的7千万个Key删完
链接URL:http://scyanting.com/article/jpsjdo.html