博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Linux文件内容去重
阅读量:7054 次
发布时间:2019-06-28

本文共 457 字,大约阅读时间需要 1 分钟。

hot3.png

(1)两个文件的交集,并集

1. 取出两个文件的并集(重复的行只保留一份)
cat file1 file2 | sort | uniq > file3
2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)
cat file1 file2 | sort | uniq -d > file3
3. 删除交集,留下其他的行
cat file1 file2 | sort | uniq -u > file3

(2)两个文件合并

一个文件在上,一个文件在下
cat file1 file2 > file3
一个文件在左,一个文件在右
paste file1 file2 > file3

(3)一个文件去掉重复的行

sort file | uniq
注意:重复的多行记为一行,也就是说这些重复的行还在,只是全部省略为一行!
sort file | uniq –u
上面的命令可以把重复的行全部去掉,也就是文件中的非重复行!

转载于:https://my.oschina.net/gaosheng/blog/287301

你可能感兴趣的文章
/var/log目录下的20个Linux日志文件功能详解
查看>>
我的友情链接
查看>>
去除中国菜刀密码的方法
查看>>
PHP下载断点续传 转
查看>>
【新手】【转】如何学习java程序设计
查看>>
企业邮箱发送不到sina、hotmail等解决
查看>>
享元(Flyweight)模式
查看>>
应该使用什么来替代终结器?
查看>>
如果finalize()抛出异常会怎样?
查看>>
自己的微博
查看>>
php取整函数ceil,floor,round,intval函数的区别
查看>>
NH5-Nhibernate映射中的三种关系
查看>>
SpringBoot项目启动时自动执行指定方法
查看>>
ESXi5.1嵌套KVM虚拟化环境支持配置
查看>>
设计模式(行为型模式)——命令模式(Command)
查看>>
vi常用命令
查看>>
Office 2013 兼容性测试(四)——部署遥测处理器
查看>>
Struts1和Struts2的区别和对比
查看>>
Forms开发中触发器的执行顺序
查看>>
SEO博客三个月没更新排行骤步康复
查看>>