我的编程空间,编程开发者的网络收藏夹
学习永远不晚

linux中如何使用awk命令删除文本重复行

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

linux中如何使用awk命令删除文本重复行

linux中如何使用awk命令删除文本重复行,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

测试文本如下:

# cat 1.txt2.1.10.12.1.10.22.11.0.12.11.0.2

如果数组下标不加引号,在这个特殊的情况下会被强制转换为数字,最终导致统计失败:

# awk 'BEGIN{FS=OFS="."}{if(!a[$1.$2.$3]++)print}' 1.txt2.1.10.1# awk -F '.' '{a[$1.$2.$3]++;}END{for(i in a)print i"  "a[i]}' 1.txt2110  4

数组下标加上引号之后,一切恢复正常:

# awk 'BEGIN{FS=OFS="."}{if(!a[$1"."$2"."$3]++)print}' 1.txt2.1.10.12.11.0.1# awk -F '.' '{a[$1"."$2"."$3]++;}END{for(i in a)print i"  "a[i]}' 1.txt2.11.0  22.1.10  2

看完上述内容,你们掌握linux中如何使用awk命令删除文本重复行的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注编程网行业资讯频道,感谢各位的阅读!

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

linux中如何使用awk命令删除文本重复行

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

linux中如何使用awk命令删除文本重复行

linux中如何使用awk命令删除文本重复行,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。测试文本如下:# cat 1.txt2.1.10.12.1.10.22.11.0.12
2023-06-12

linux中如何使用awk删掉文件中重复的行

这篇文章将为大家详细讲解有关linux中如何使用awk删掉文件中重复的行,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。TL;DR要保持原来的排列顺序删掉重复行,使用:awk !visited[$0]++
2023-06-16

linux中如何使用awk命令

这篇文章将为大家详细讲解有关linux中如何使用awk命令,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。简介awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报
2023-06-09

Linux中怎么删除重复的文本行

Linux中怎么删除重复的文本行,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。1、sort命令 - 在Linux和类Unix系统中对文本文件行进行排序。2、uniq命令 - 在
2023-06-16

Linux中如何使用dupeGuru删除重复文件

本篇文章为大家展示了Linux中如何使用dupeGuru删除重复文件,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。dupeGuru的安装在Ubuntu上,你可以添加Hardcoded Softwar
2023-06-16

如何使用 Git 命令行删除文件

在使用 Git 进行代码管理时,我们会经常遇到需要删除文件的情况,无论是因为文件已经被废弃,还是因为文件内容已被移动到其他文件中,删除文件是一个必要的操作。本文将介绍如何使用 Git 命令行删除文件。1. 删除工作目录中的文件如果要删除工作
2023-10-22

Linux中怎么删除文本中的重复行

这篇文章将为大家详细讲解有关Linux中怎么删除文本中的重复行,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。第一,用sort+uniq,注意,单纯uniq是不行的。shell> sort -
2023-06-13

如何在Linux中使用rm命令删除文件

如何在Linux中使用rm命令删除文件?相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。-f 即:rm -f 文件路径   -f 就是直接强行删除,不作任何提示的意思   删除文件
2023-06-13

如何使用Linux中的awk命令

这篇文章主要介绍了如何使用Linux中的awk命令,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。awk 是一种编程语言,用于在linux/unix下对文本和数据进行处理。数据
2023-06-28

Linux中如何使用userdel命令删除用户

本篇文章给大家分享的是有关Linux中如何使用userdel命令删除用户,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。  userdel是什么  userdel 是一个底层用于
2023-06-13

Fdupes - 在 Linux 中查找和删除重复文件的命令行工具

Fdupes是由Adrian Lopez用C编程语言编写的 Linux 实用程序,在 MIT 许可下发布。该应用程序能够在给定的目录和子目录集中找到重复文件。

Linux如何利用lsof命令恢复删除的文件

这篇文章主要介绍Linux如何利用lsof命令恢复删除的文件,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!lsof命令lsof命令用于查看你进程开打的文件,打开文件的进程,进程打开的端口(TCP、UDP)。找回/恢复
2023-06-16

Linux下如何使用ionice命令删除大文件

这篇文章给大家分享的是有关Linux下如何使用ionice命令删除大文件的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。通常,要在 Linux 终端删除一个文件,我们使用 rm 命令(删除文件)、shred 命令(
2023-06-28

Linux中rm与rmdir删除命令如何使用

今天就跟大家聊聊有关Linux中rm与rmdir删除命令如何使用,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。rm命令用法:rm [选项]... 文件...删除 (unlink) 文
2023-06-12

如何使用cmd命令删除文件

这篇文章主要介绍了如何使用cmd命令删除文件,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。1、首先找到要删除的文件的指定目录。2、点击“开始菜单”中的“运行”,输入cmd回车
2023-06-28

Linux中如何使用FSlint查找和删除重复文件

本篇内容主要讲解“Linux中如何使用FSlint查找和删除重复文件”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Linux中如何使用FSlint查找和删除重复文件”吧!FSlint 能够找出系
2023-06-27

如何在Linux中使用awk命令处理文字数据

本篇文章为大家展示了如何在Linux中使用awk命令处理文字数据,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。1、awk可以显示文件中的内容,如下图所示,awk显示passwd中的内容,并且设置只显
2023-06-10

命令行中如何删除带.的文件夹

小编给大家分享一下命令行中如何删除带.的文件夹,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!命令行删除带.的文件夹 系统里有一个 temp.. 的文件夹,估计是中
2023-06-08

编程热搜

目录