codis迁移槽位遇到value过大的数据导致redis进程堵塞问题-创新互联

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

创新互联公司专注于企业营销型网站、网站重做改版、关岭网站定制设计、自适应品牌网站建设、HTML5建站商城网站定制开发、集团公司官网建设、成都外贸网站建设公司、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为关岭等各大城市提供网站开发制作服务。

问题背景:

2016-11-08下午,咨询codis开始迁移槽位。迁移过程中dba发现group1中redis无法连接,proxy进程异常退出且无法重启。

当redis可以正常连接时dashboard展示为:

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

而问题发生时此redis是不可连接的,Keys无法显示正确显示,只显示Nan。

proxy进程异常退出会收到微信报警:

[('NoneType' object has no attribute '__getitem__')10.20.4.1:19153(KDDI)](codis_proxy) [r_connection],threshold: 1,current:0,last:1 minutes.,info:failed [2016-11-08 15:32:35]

处理方案:

1.将备用proxy服务器加入域名,待生效后移除异常proxy的域名。

2.排查dashboard日志,问题如下:

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

从日志可以看出迁移过程中slot_359迁移完成,solt_360迁移过程中报错,报错显示redis读取超时,持续一段时间后迁移任务报错([info] migration start: {SlotId:360 NewGroupId:4 Delay:1 CreateAt:1478588644 Percent:0 Status:error Id:0000003317})

3.手动取消迁移任务

登录zookeeper:/usr/local/xywy/zookeeper-3.4.6/bin/zkCli.sh -server 10.20.4.1:2181

rmr /zk/codis/db_techzixun/migrate_tasks/0000003317

4.重启proxy进程

如果无法重启,那么说明取消迁移任务时可能影响了槽位的状态。排查日志可以看到报错为:

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

从日志中可以看出槽位状态为pre_migrate。调整为online即可。

调整方法:

登录zookeeper后

查看对应槽位的值:get /zk/codis/db_techzixun/slots/slot_392

修改status为online:set /zk/codis/db_techzixun/slots/slot_392 {"product_name":"techzixun","id":392,"group_id":1,"state":{"status":"online","migrate_status":{"from":-1,"to":-1},"last_op_ts":"0"}}

所有槽位状态都为online时即可重启proxy

5.重启proxy后将其加入域名,此时故障已恢复

后续排查:

以上步骤为处理故障的操作,但迁移为什么出错,想要究其原因还需进一步排查。

查看group1中报错redis的日志,问题如下:

[113248] 08 Nov 15:16:20.764 # slotsmgrt: writing to target 10.20.2.4:6916, error 'accept: Resource temporarily unavailable', nkeys = 1, onekey = 'jbzt_nk_20219_arclist', cmd.len = 1418791367, pos = 65536, towrite = 65536

使用redis命令扫描大key:

redis-cli -p xxxx -h xxxx --bigkeys

发现'jbzt_nk_20219_arclist'这个list容量达到3G左右

由此可见问题的原因是迁移value过的的key或list导致

解决方案:

该问题为codis程序问题,在codis中暂时无法使用技术手段解决。只能对这种value过大的key或list进行压缩或者选择其他使用方式。

遗留问题:

问题描述:

codis迁移槽位过程中出错时会导致槽位状态一直为迁移中,槽位状态为迁移中proxy不能上线,所以手动将槽位状态修改为上线。但此时未迁移成功的key路由信息还记录为迁移前group,而迁移前槽位的group信息已更新为迁移后的group,这就导致了查找未成功迁移的key时会无法连接的错误。

解决方法:

将无法连接的key所在槽位迁移至原所属group即可。查找key时可以通过proxy.log观察确认路由到哪个ip端口下从而确定原所属group,利用python下binascii.crc32算法binascii.crc32('key_name')%1024计算key所在槽位。

举例说明:

codis中有2个group。分别为group1,group2。group1中100槽位中有1,2,3,4,5,6。6个key,group2中没有key,此时将group1中100槽位迁移至group2中,迁移过程中1、2、3key已成功迁移4key由于value过大导致迁移出错,此时100槽位所属group2,槽位状态为迁移中,手动删除迁移任务将100槽位状态修改为上线后,连接proxy查找4、5、6key则出现无法连接错误。原因就是4、5、6key的的路由信息还是group1中的100槽位,但此时100槽位已经不在group1下了,那么将100槽位迁移回group1下即可解决。

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


文章标题:codis迁移槽位遇到value过大的数据导致redis进程堵塞问题-创新互联
当前地址:http://scyanting.com/article/ccdiip.html