MySQL如何去重
这篇文章主要介绍了MySQL如何去重,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。
茂名网站制作公司哪家好,找创新互联建站!从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设等网站项目制作,到程序开发,运营维护。创新互联建站于2013年创立到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选创新互联建站。
需求分析
数据库中存在重复记录,删除保留其中一条(是否重复判断基准为多个字段)
解决方案
碰到这个需求的时候,心里大概是有思路的。最快想到的是可以通过一条sql语句来解决,无奈自己对于复杂sql语句的道行太浅,所以想找大佬帮忙。
找人帮忙
因为这个需求有点着急,所以最开始想到的是,可以找这方面的同行来解决,然后分享这个问题给同事,结果这货随便百度了一下,就甩给我一个从未用过的sql语句,让我自己尝试,心里万匹那啥啥啥奔腾而过...
自己百度
找到了一条sql语句:
DELETE FROM vitae a WHERE (a.peopleId, a.seq) IN ( SELECT peopleId, seq FROM vitae GROUP BY peopleId, seq HAVING count(*) > 1 ) AND rowid NOT IN ( SELECT min(rowid) FROM vitae GROUP BY peopleId, seq HAVING count(*) > 1 )
这条语句是在 【MySQL中删除重复数据只保留一条】 这篇文章里找到的。这条sql思路很明显,有以下3步:
SELECT peopleId, seq FROM vitae GROUP BY peopleId, seq HAVING count(*) > 1
查询出表中重复记录作为条件
SELECT min(rowid) FROM vitae GROUP BY peopleId, seq HAVING count(*) > 1
查询出表中重复记录中ID最小的值为第二个条件
最后根据以上两个条件,删除 除重复记录中最小ID的其余重复记录
但是很无奈的是,运行这条语句出现了错误,大致报错意思是,不能在查询的时候同时更新这个表。
代码解决
根据上面这个sql语句想到或许可以通过代码的方式,两步来达到同样的目的:
先取出重复的数据集
根据查询到的数据集,循环删除其余的重复数据
想法是有了,写出来也很快,但是一运行吓我一跳,竟然需要 116s左右,然后自己就想一定要找到可以使用的sql语句,贴一下代码和运行结果:
完美的【去重留一】SQL
最后在一个技术群里得到了完美的答案,看这条sql语句:
DELETE consum_record FROM consum_record, ( SELECT min(id) id, user_id, monetary, consume_time FROM consum_record GROUP BY user_id, monetary, consume_time HAVING count(*) > 1 ) t2 WHERE consum_record.user_id = t2.user_id and consum_record.monetary = t2.monetary and consum_record.consume_time = t2.consume_time AND consum_record.id > t2.id;
上面这条sql语句,仔细看一下,揣摩出思路也不难,大概也分为3步来理解:
(SELECT min(id) id, user_id, monetary, consume_time FROM consum_record GROUP BY user_id, monetary, consume_time HAVING count(*) > 1 ) t2
查询出重复记录形成一个集合(临时表t2),集合里是每种重复记录的最小ID
consum_record.user_id = t2.user_id and consum_record.monetary = t2.monetary and consum_record.consume_time = t2.consume_time
关联判断重复基准的字段
根据条件,删除原表中id大于t2中id的记录
看到这个语句的时候,心里想这也太厉害了。这么一个简单的sql语句,竟然可以解决这么复杂的问题,涨姿势了~
运行起来也超级快,原先的代码循环执行,需要 116s左右,而这里 0.3s就可以了,厉害了~
感谢你能够认真阅读完这篇文章,希望小编分享的“MySQL如何去重”这篇文章对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,更多相关知识等着你来学习!
网站栏目:MySQL如何去重
分享链接:http://scyanting.com/article/pedhsi.html