我的编程空间,编程开发者的网络收藏夹
学习永远不晚

linux文本分析awk基础命令介绍(8)

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

linux文本分析awk基础命令介绍(8)

awk是一种模式扫描和处理语言,在对数据进行分析处理时,是十分强大的工具。

awk [options] 'pattern {action}' file...

awk的工作过程是这样的:按行读取输入(标准输入或文件),对于符合模式pattern的行,执行action。当pattern省略时表示匹配任何字符串;当action省略时表示执行'{print}';它们不可以同时省略。
每一行输入,对awk来说都是一条记录(record),awk使用$0来引用当前记录:


[root@centos7 ~]# head -1 /etc/passwd | awk '{print $0}'
root:x:0:0:root:/root:/bin/bash

例子中将命令head -1 /etc/passwd作为awk的输入,awk省略了pattern,action为print $0,意为打印当前记录。
对于每条记录,awk使用分隔符将其分割成列,第一列用$1表示,第二列用$2表示...最后一列用$NF表示

选项-F表示指定分隔符
如输出文件/etc/passwd第一行第一列(用户名)和最后一列(登录shell):


[root@centos7 ~]# head -1 /etc/passwd | awk -F: '{print $1,$NF}'
root /bin/bash

当没有指定分隔符时,使用一到多个blank(空白字符,由空格键或TAB键产生)作为分隔符。输出的分隔符默认为空格。
如输出命令ls -l *的结果中,文件大小和文件名:


[root@centos7 temp]# ls -l * | awk '{print $5,$NF}'
13 b.txt
58 c.txt
12 d.txt
0 e.txt
0 f.txt
24 test.sh
[root@centos7 temp]# 

还可以对任意列进行过滤:


[root@centos7 temp]# ls -l *|awk '$5>20 && $NF ~ /txt$/'
-rw-r--r-- 1 nobody nobody 58 11月 16 16:34 c.txt

其中$5>20表示第五列的值大于20;&&表示逻辑与;$NF ~ /txt$/中,~表示匹配,符号//内部是正则表达式。这里省略了action,整条awk语句表示打印文件大小大于20字节并且文件名以txt结尾的行。

awk用NR表示行号


[root@centos7 temp]# awk '/^root/ || NR==2' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
[root@centos7 temp]#

例子中||表示逻辑或,语句表示:输出文件/etc/passwd中以root开头的行或者第二行。

在一些情况下,使用awk过滤甚至比使用grep更灵活
如获得ifconfig的输出中网卡名及其对应的mtu值


[root@idc-v-71253 ~]# ifconfig|awk '/^S/{print $1"t"$NF}'
ens32: 1500
ens33: 1500
lo:   65536
[root@idc-v-71253 ~]# 
#这里的正则表示不以空白字符开头的行,输出内容中使用t进行了格式化。

以上所说的NR、NF等都是awk的内建变量,下面列出部分常用内置变量


$0     当前记录(这个变量中存放着整个行的内容)
$1~$n    当前记录的第n个字段,字段间由FS分隔
FS     输入字段分隔符 默认是空格或Tab
NF     当前记录中的字段个数,就是有多少列
NR     行号,从1开始,如果有多个文件话,这个值也不断累加。
FNR     输入文件行号
RS     输入的记录分隔符, 默认为换行符
OFS     输出字段分隔符, 默认也是空格
ORS     输出的记录分隔符,默认为换行符
FILENAME  当前输入文件的名字

awk中还可以使用自定义变量,如将网卡名赋值给变量a,然后输出网卡名及其对应的RX bytes的值(注意不同模式匹配及其action的写法):


[root@idc-v-71253 ~]# ifconfig|awk '/^S/{a=$1}/RX p/{print a,$5}'
ens32: 999477100
ens33: 1663197120
lo: 0

awk中有两个特殊的pattern:BEGIN和END;它们不会对输入文本进行匹配,BEGIN对应的action部分组合成一个代码块,在任何输入开始之前执行;END对应的action部分组合成一个代码块,在所有输入处理完成之后执行。


#注意类似于C语言的赋值及print函数用法
[root@centos7 temp]# ls -l *|awk 'BEGIN{print "size namen---------"}$5>20{x+=$5;print $5,$NF}END{print "---------ntotal",x}'
size name
---------
58 c.txt
24 test.sh
---------
total 82
[root@centos7 temp]#

awk还支持数组,数组的索引都被视为字符串(即关联数组),可以使用for循环遍历数组元素
如输出文件/etc/passwd中各种登录shell及其总数量


#注意数组赋值及for循环遍历数组的写法
[root@centos7 temp]# awk -F ':' '{a[$NF]++}END{for(i in a) print i,a[i]}' /etc/passwd
/bin/sync 1
/bin/bash 2
/sbin/nologin 19
/sbin/halt 1
/sbin/shutdown 1
[root@centos7 temp]# 

当然也有if分支语句


#注意大括号是如何界定action块的
[root@centos7 temp]# netstat -antp|awk '{if($6=="LISTEN"){x++}else{y++}}END{print x,y}'
6 3
[root@centos7 temp]# 

pattern之间可以用逗号分隔,表示从匹配第一个模式开始直到匹配第二个模式


[root@centos7 ~]# awk '/^root/,/^adm/' /etc/passwd    
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin

还支持三目操作符pattern1 ? pattern2 : pattern3,表示判断pattern1是否匹配,true则匹配pattern2,false则匹配pattern3,pattern也可以是类似C语言的表达式。
如判断文件/etc/passwd中UID大于500的登录shell是否为/bin/bash,是则输出整行,否则输出UID为0的行:


#注意为避免混淆对目录分隔符进行了转义
[root@centos7 ~]# awk -F: '$3>500?//bin/bash$/:$3==0 {print $0}' /etc/passwd     
root:x:0:0:root:/root:/bin/bash
learner:x:1000:1000::/home/learner:/bin/bash
#三目运算符也可以嵌套,例子略

选项-f file表示从file中读取awk指令


#打印斐波那契数列前十项
[root@centos7 temp]# cat test.awk 
BEGIN{
  $1=1
  $2=1
  OFS=","
  for(i=3;i<=10;i++)
  {
    $i=$(i-2)+$(i-1)
  }
  print
}
[root@centos7 temp]# awk -f test.awk 
1,1,2,3,5,8,13,21,34,55
[root@centos7 temp]# 

选项-F指定列分隔符


#多个字符作为分隔符时
[root@centos7 temp]# echo 1.2,3:4 5|awk -F '[., :]' '{print $2,$NF}'
2 5
[root@centos7 temp]#
#这里-F后单引号中的内容也是正则表达式

选项-v var=val设定变量


#这里printf函数用法类似C语言同名函数
[root@centos7 ~]# awk -v n=5 'BEGIN{for(i=0;i<n;i++) printf "%02dn",i}' 
00
01
02
03
04
[root@centos7 ~]# 

print等函数还支持使用重定向符>和>>将输出保存至文件


#如按第一列(IP)分类拆分文件access.log,并保存至ip.txt文件中
[root@centos7 temp]# awk '{print > $1".txt"}' access.log 
[root@centos7 temp]# ls -l 172.20.71.*
-rw-r--r-- 1 root root 5297 11月 22 21:33 172.20.71.38.txt
-rw-r--r-- 1 root root 1236 11月 22 21:33 172.20.71.39.txt
-rw-r--r-- 1 root root 4533 11月 22 21:33 172.20.71.84.txt
-rw-r--r-- 1 root root 2328 11月 22 21:33 172.20.71.85.txt

内建函数
length()获得字符串长度


[root@centos7 temp]# awk -F: '{if(length($1)>=16)print}' /etc/passwd 
systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin
[root@centos7 temp]#

split()将字符串按分隔符分隔,并保存至数组


[root@centos7 temp]# head -1 /etc/passwd|awk '{split($0,arr,/:/);for(i=1;i<=length(arr);i++) print arr[i]}'
root
x
0
0
root
/root
/bin/bash
[root@centos7 temp]# 

getline从输入(可以是管道、另一个文件或当前文件的下一行)中获得记录,赋值给变量或重置某些环境变量


#从shell命令date中通过管道获得当前的小时数
[root@centos7 temp]# awk 'BEGIN{"date"|getline;split($5,arr,/:/);print arr[1]}'
09
#从文件中获取,此时会覆盖当前的$0。(注意逐行处理b.txt的同时也在逐行从c.txt中获得记录并覆盖$0,当getline先遇到eof时<即c.txt文件行数较少>将输出空行)
[root@centos7 temp]# awk '{getline <"c.txt";print $4}' b.txt 
"https://segmentfault.com/blog/learnning"
[root@centos7 temp]# 
#赋值给变量
[root@centos7 temp]# awk '{getline blog <"c.txt";print $0"n"blog}' b.txt 
aasdasdadsad
BLOG ADDRESS IS "https://segmentfault.com/blog/learnning"
[root@centos7 temp]# 
#读取下一行(也会覆盖当前$0)
[root@centos7 temp]# cat file
anny
100
bob
150
cindy
120
[root@centos7 temp]# awk '{getline;total+=$0}END{print total}' file
370
#此时表示只对偶数行进行处理

next作用和getline类似,也是读取下一行并覆盖$0,区别是next执行后,其后的命令不再执行,而是读取下一行从头再执行。


#跳过以a-s开头的行,统计行数,打印最终结果
[root@centos7 temp]# awk '/^[a-s]/{next}{count++}END{print count}' /etc/passwd
2
[root@centos7 temp]# 
#又如合并相同列的两个文件
[root@centos7 temp]# cat f.txt 
学号 分值
00001 80
00002 75
00003 90
[root@centos7 temp]# cat e.txt 
姓名 学号
张三 00001
李四 00002
王五 00003
[root@centos7 temp]# awk 'NR==FNR{a[$1]=$2;next}{print $0,a[$2]}' f.txt e.txt  
姓名 学号 分值
张三 00001 80
李四 00002 75
王五 00003 90
#这里当读第一个文件时NR==FNR成立,执行a[$1]=$2,然后next忽略后面的。读取第二个文件时,NR==FNR不成立,执行后面的打印命令

sub(regex,substr,string)替换字符串string(省略时为$0)中首个出现匹配正则regex的子串substr


[root@centos7 temp]# echo 178278 world|awk 'sub(/[0-9]+/,"hello")'
hello world
[root@centos7 temp]#

gsub(regex,substr,string)与sub()类似,但不止替换第一个,而是全局替换


[root@centos7 temp]# head -n5 /etc/passwd|awk '{gsub(/[0-9]+/,"----");print $0}'   
root:x:----:----:root:/root:/bin/bash
bin:x:----:----:bin:/bin:/sbin/nologin
daemon:x:----:----:daemon:/sbin:/sbin/nologin
adm:x:----:----:adm:/var/adm:/sbin/nologin
lp:x:----:----:lp:/var/spool/lpd:/sbin/nologin

substr(str,n,m)切割字符串str,从第n个字符开始,切割m个。如果m省略,则到结尾


[root@centos7 temp]# echo "hello,世界!"|awk '{print substr($0,8,1)}'
界
[root@centos7 temp]#

tolower(str)和toupper(str)表示大小写转换


[root@centos7 temp]# echo "hello,世界!"|awk '{A=toupper($0);print A}'
HELLO,世界!
[root@centos7 temp]#

system(cmd)执行shell命令cmd,返回执行结果,执行成功为0,失败为非0


#此处if语句判断和C语言一致,0为false,非0为true
[root@centos7 temp]# awk 'BEGIN{if(!system("date>/dev/null"))print "success"}'
success
[root@centos7 temp]# 

match(str,regex)返回字符串str中匹配正则regex的位置


[root@centos7 temp]# awk 'BEGIN{A=match("abc.f.11.12.1.98",/[0-9]{1,3}./);print A}'
7
[root@centos7 temp]# 

awk作为一个编程语言可以处理各种各样的问题,甚至于编写应用软件,但它更常用的地方是命令行下的文本分析,生成报表等,这些场景下awk工作的很好。工作中如经常有文本分析的需求,那么掌握这个命令的用法将为你节省大量的时间。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持编程网。

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

linux文本分析awk基础命令介绍(8)

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

linux文本分析awk基础命令介绍(8)

awk是一种模式扫描和处理语言,在对数据进行分析处理时,是十分强大的工具。 awk [options] 'pattern {action}' file...awk的工作过程是这样的:按行读取输入(标准输入或文件),对于符合模式pattern
2022-06-04

linux文本过滤grep基础命令介绍(5)

在linux中经常需要对文本或输出内容进行过滤,最常用的过滤命令是grep grep [OPTIONS] PATTERN [FILE...] grep按行检索输入的每一行,如果输入行包含模式PATTERN,则输出这一行。这里的PATTERN
2022-06-04

Linux文本分析命令awk的用法

本篇内容主要讲解“Linux文本分析命令awk的用法”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Linux文本分析命令awk的用法”吧!0、基本用法awk是一个强大的文本分析工具,简单来说aw
2023-06-16

Linux中文本分析awk命令怎么用

这篇文章主要介绍Linux中文本分析awk命令怎么用,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!awk是一种模式扫描和处理语言,在对数据进行分析处理时,是十分强大的工具。awk [options] pattern
2023-06-16

linux用户与文件基础命令介绍(1)

linux系统是一个多用户多任务的分时操作系统,但系统并不能识别人,它通过账号来区别每个用户。每个linux系统在安装的过程中都要为root账号设置密码,这个root即为系统的第一个账号。每一个用这个账号登录系统的用户都是超级管理员,他们对
2022-06-04

Linux强大命令 Awk 20分钟入门介绍

什么是AwkAwk是一种小巧的编程语言及命令行工具。(其名称得自于它的创始人Alfred Aho、Peter Weinberger 和 Brian Kernighan姓氏的首个字母)。它非常适合服务器上的日志处理,主要是因为Awk可以对文件
2022-06-03

linux文件搜索及其它基础命令介绍(3)

1、linux中包含大量的文件,对于文件查找,linux提供了find命令。find是一个非常有效的工具,它可以遍历目标目录甚至整个文件系统来查找某些文件或目录: find [path...] [expression]其中expressio
2022-06-04

linux定时任务基础命令介绍(14)

在计算机的使用过程中,经常会有一些计划中的任务需要在将来的某个时间执行,linux中提供了一些方法来设定定时任务。 1、at 命令at从文件或标准输入中读取命令并在将来的一个时间执行,只执行一次。at的正常执行需要有守护进程atd:#安装a
2022-06-04

Linux基础命令---文本编辑sed

sedsed是一种流编辑器,用来从输入流中读取内容并完成转换,输入流可以来自一个文件,也可以来自一个管道。此命令的适用范围:RedHat、RHEL、Ubuntu、CentOS、SUSE、openSUSE、Fedora。1、语法sed [选项
2023-06-05

Linux基础命令---tail显示文本

tail显示文本文件尾部的部分内容,默认显示最后10行。此命令的适用范围:RedHat、RHEL、Ubuntu、CentOS、SUSE、openSUSE、Fedora。1、语法tail [选项] file 2、选项列表选项说明--vers
2023-06-05

如何理解Linux基础命令中文本流编辑sed命令

如何理解Linux基础命令中文本流编辑sed命令,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。与vim不同,sed是一种非交互式的文本编辑器,同时它又是面向字符流的,每行数
2023-06-16

Linux 脚本编写基础知识以及在shell脚本中可以使用三类命令介绍

本篇内容主要讲解“Linux 脚本编写基础知识以及在shell脚本中可以使用三类命令介绍”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Linux 脚本编写基础知识以及在shell脚本中可以使用三
2023-06-09

Linux中使用文本编辑器vi命令的示例分析

小编给大家分享一下Linux中使用文本编辑器vi命令的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!vi/vim是什么?Linux世界几乎所有的配置文件都
2023-06-09

编程热搜

目录