【linux】linux去重的方法
短信预约 -IT技能 免费直播动态提醒
多种linux文本去重方法
1.awk用法:
awk去重法【1】
# 查看两个文本的第一列,然后排序去重显示出现第一次的awk '{print $0}' file1 file2 | sort | uniq -u > new_file
awk去重法【2】
# 单个文件去重方法(去重后不会打乱顺序和排序)awk '!x[$0]++' file1 > new_file
awk去重法【3】
# 查找文件行中唯一行(注:处理文本中只有一列的)awk '{print $0}' ./filename.txt | sort | uniq -d > new_filename.txt
2.sort 用法:
sort去重法【1】
# 查找文件行中值重复的行(用于单个文件)sort ./filename.txt | uniq -d new_filename.txt
sort去重法【2】(用于多个文件一次性去重)
# 使用cat 配合去重(用于多个文件一次性去重)cat ./*_filename.txt | uniq -d > new_filename.txt
sort去重法【3】(查找非重复行)
# 查找非重复行sort filename.txt | uniq -u > new_filename.txt
sort去重法【4】(统计字符出现次数)
# 统计字符出现次数sort filename.txt | uniq -c
3.grep 用法
grep去重法【1】
# 对比两个文件去重后生成新文件grep -vFf file1 file2 > new_filename.txt
grep去重法【2】
# 从b中剔除a中有的 去重 grep -v -f file1 file2 > new_filename.txt
来源地址:https://blog.csdn.net/LySunflower/article/details/127985765
免责声明:
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341