Linux中怎么删除重复行

这篇文章给大家介绍Linux中怎么删除重复行,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

在白山等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都网站制作、成都网站设计 网站设计制作按需搭建网站,公司网站建设,企业网站建设,高端网站设计,营销型网站,外贸营销网站建设,白山网站建设费用合理。



第一,用sort+uniq,注意,单纯uniq是不行的。

sort -n test.txt | uniq

第二,用sort+awk命令,注意,单纯awk同样不行,原因同上。

 sort -n $file | awk '{if($0!=line)print; line=$0}'

第三,用sort+sed命令,同样需要sort命令先排序。
sort -n $file | sed '$!N; /^.∗\n\1$/!P; D'

Shell脚本

# !/bin/sh

file='test.txt'
sort -n $file | uniq
sort -n $file | awk '{if($0!=line)print; line=$0}'
sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'

测试文件:
yanggang@barry$ cat test.txt
aaa
bbbbb
ccccc
123
aaaaa
123
bbb
aaa
执行结果:
yanggang@barry$ ./diffRow.sh
aaa
aaaaa
bbb
bbbbb
ccccc
123

关于Linux中怎么删除重复行就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


网站名称:Linux中怎么删除重复行
分享路径:http://scyanting.com/article/gcjoge.html