awk命令、awk编程语言详细介绍和实例

一，什么是awk

awk是linux下的一个命令，他对其他命令的输出，对文件的处理都十分强大，其实他更像一门编程语言，他可以自定义变量，有条件语句，有循环，有数组，有正则，有函数等。他读取输出，或者文件的方式是一行，一行的读，根据你给出的条件进行查找，并在找出来的行中进行操作，感觉他的设计思想，真的很简单，但是结合实际情况，具体操作起来就没有那么简单了。他有三种形势，awk，gawk，nawk，平时所说的awk其实就是gawk。

二，awk中的记录，域，分割符

当我们读取输出时，或者读取文件时，读取一行就是一个记录。记录分割符是默认是回车符，保存在RS，ORS中。
我们从记录中分割出我们要单词，或者是词组等，我们称他为域，域分割符，默认的是空格和TAB?，保存在内建变
量ORS中。举个例子：
aaaa:bbbb:ccccccc
1111:2343:5t43343
上面有二行，这二行就是二个记录，每行后面的回车呢，就是记录分割符，里面冒号呢，就是域分割符，分割出来的，aaaa,1111这类东西就是域了。
awk -F: '{print $1}' testfile

三，awk的内建变量和运算符

1，变量

变 量 描述 $n 当前记录的第n个字段，字段间由 FS分隔。 $0 完整的输入记录。 ARGC 命 令行参数的数目。 ARGIND 命令行中当前文件的位置(从0开始算)。 ARGV 包 含命令行参数的数组。 CONVFMT 数字转换格式(默认值为%.6g) ENVIRON 环 境变量关联数组。 ERRNO 最后一个系统错误的描述。 FIELDWIDTHS 字 段宽度列表(用空格键分隔)。 FILENAME 当前文件名。 FNR 同 NR，但相对于当前文件。 FS 字段分隔符(默认是任何空格)。 IGNORECASE 如 果为真，则进行忽略大小写的匹配。 NF 当前记录中的字段数。 NR 当 前记录数。 OFMT 数字的输出格式(默认值是%.6g)。 OFS 输 出字段分隔符(默认值是一个空格)。 ORS 输出记录分隔符(默认值是一个换行符)。 RLENGTH 由 match函数所匹配的字符串的长度。 RS 记录分隔符(默认是一个换行符)。 RSTART 由 match函数所匹配的字符串的第一个位置。 SUBSEP 数组下标分隔符(默认值是34)。

2，运算符

运算符 描述 = += -= *= /= %= ^= **= 赋值 ?: C条件表达式 || 逻 辑或 && 逻辑与 ~ ~! 匹 配正则表达式和不匹配正则表达式 < <= > >= != == 关 系运算符 空格 连接 + - 加，减 * / & 乘，除与求余 + - ! 一元加，减和逻辑非 ^ *** 求幂 ++ -- 增加或减少，作为前缀或后缀 $ 字 段引用 in 数组成员

四，awk的正则

匹配符 描述 Y 匹配一个单词开头或者末尾的空字符串 B 匹配单词内的空字符串 < 匹配一个单词的开头的空字符串，锚定开始 > 匹配一个单词的末尾的空字符串，锚定末尾 W 匹配一个非字母数字组成的单词 w 匹配一个字母数字组成的单词 ' 匹配字符串末尾的一个空字符串 ‘ 匹配字符串开头的一个空字符串

五，awk的函数

1，字符串函数

函数名 描述 sub 匹配记录中最大、最靠左边的子字符串的正则表达式，并用替换字符串替换这些字符串。如果没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的 时候 gsub 整个文档中进行匹配 index 返回子字符串第一次被匹配的位置，偏移量从位置1开始 substr 返回从位置1开始的子字符串，如果指定长度超过实际长度，就返回整个字符串 split 可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供，则按当前FS值进行分割 length 返回记录的字符数 match 返回在字符串中正则表达式位置的索引，如果找不到指定的正则表达式则返回0。match函数会设置内建变量RSTART为字符串中子字符串的开始位 置，RLENGTH为到子字符串末尾的字符个数。substr可利于这些变量来截取字符串 toupper和tolower 可用于字符串大小间的转换，该功能只在gawk中有效

2，数学函数

函数名 返回值 atan2(x,y) y,x 范围内的余切 cos(x) 余弦函数 exp(x) 求 幂 int(x) 取整 log(x) 自然对 数 rand() 随机数 sin(x) 正弦 sqrt(x) 平 方根 srand(x) x是rand()函数的种子 int(x) 取 整，过程没有舍入 rand() 产生一个大于等于0而小于1的随机数

六，实例

学习awk的时候，做了一个例子，学东西，不要光看，光看是记不住东西的。光看的话，也许你知道怎么回事，真正实际操作，不是这儿有问题，就是那儿有问题。所以一定要动手亲自操作一下。

1，测试文件test

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/bin/false

daemon:x:2:2:daemon:/sbin:/bin/false

mail:x:8:12:mail:/var/spool/mail:/bin/false

ftp:x:14:11:ftp:/home/ftp:/bin/false

&nobody:$:99:99:nobody:/:/bin/false

zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash

http:x:33:33::/srv/http:/bin/false

dbus:x:81:81:System message bus:/:/bin/false

hal:x:82:82:HAL daemon:/:/bin/false

mysql:x:89:89::/var/lib/mysql:/bin/false

aaa:x:1001:1001::/home/aaa:/bin/bash

ba:x:1002:1002::/home/zhangy:/bin/bash

test:x:1003:1003::/home/test:/bin/bash

@zhangying:*:1004:1004::/home/test:/bin/bash

policykit:x:102:1005:Po

例1：

cat test | awk -F: '{

 if ($1 == "root"){

 print $1;

 }else if($1 == "bin"){

 print $2;

 }else{

 print $3;

 } 

}'

例2：

awk '{

 for(i=0;i<NF;i++){

 if ($i ~/^root/){

 print $i;

 }else if($i ~/zhangy/){

 print $i;continue;

 }else if($i ~/mysql/){

 print $i;next;

 }else if($i ~/^test/){

 print $i;break;

 } 

 }

}' test

例3：

tail test | awk 'BEGIN{while(getline d){ split(d,test);for(i in test){

 print test[i]

}}}'

例4：

ls -al /home/zhangy/mytest | awk 'BEGIN{while(getline d){ split(d,test);

 print test[9] ;}

}'

例5：

echo "32:34" |awk -F: '{print "max = ",max($1,$2)}

function max(one,two){

if(one > two){

 return one;

}else{

 return two;

}

}

'

例6：

#awk 'BEGIN{print "what is your name"; getline name < "/dev/tty"}$1 ~name{print

#"found name on line" NR}END{print "see you" name}' test

#awk '{sub(/daemon/,"tankzhang");print}' test

#awk '{{sub(/zhangy/,"tankzhang");$1};print}' test

#awk '{{gsub(/zhangy/,"tankzhang");$1};print}' test

#awk -F: '{print index("zhangy",$1)}' test

#awk -F: '{print substr($1,1,2)}' test

awk -F: '{mat=match($1,/^[a-zA-Z]+$/);print mat,RSTART,RLENGTH}' test

例7：

cat test |awk -F: '

 NF != 7{

printf("line %d,does not have 7 fields:%sn",NR,$0)}

$1 !~ /^[A-Za-z0-9]/{printf("line %d,non alpha and numeric user id:%s: %sn",NR,$1,$0)}

$2 == "*" {printf("lind %d,no password:%sn",NR,$0)}'