导读:awk是流式编辑器,针对文档中的行来操作,一行一行地执行。awk可以非常方便、高效地操作文档以及字符,从而实现我们想要的格式。它的功能非常强大,我在 shell 脚本中经常使用它来处理字符串。下面介绍几个在工作中使用awk较频繁的用法。
示例命令如下:
# head -n2 test.txt |awk -F ':' '{print $1}'
root
bin
本例中,-F
选项的作用是指定分隔符。如果不加-F
选项,则以空格或者tab
为分隔符。print
为打印的动作,用来打印某个字段。$1
为第 1 个字段,$2
为第 2 个字段,以此类推。但$0
比较特殊,它表示整行:
# head -n2 test.txt |awk -F':' '{print $0}'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
注意 awk
的格式,-F
后面紧跟单引号,单引号里面为分隔符。print
的动作要用{}
括起来,否则会报错。print
还可以打印自定义的内容,但是自定义的内容要用双引号括起来,如下所示:
# head -n2 test.txt |awk -F ':' '{print $1"#"$2"#"$3"#"$4}'
root#x#0#0
bin#x#1#1
2. 匹配字符或者字符串
在文档中过滤出包含指定字符串的行,示例命令如下:
# awk '/oo/' test.txt
root:x:0:0:root:/root:/bin/bash
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0perator:/root:/sbin/nologin postfix:x:89:89::/var/spool/postfix:/sbin/nologin setroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin
这跟 sed
的用法类似,能实现grep
的功能,但没有颜色显示,肯定没有grep
用起来方便。不过awk
还有比sed
更强大的匹配,如下所示:
# awk -F ':' '$1 ~/oo/' test.txt
root:x:0:0:root:/root:/bin/bash
setroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin
它可以让某个段去匹配,这里的~就是匹配的意思。
此外,awk
还可以多次匹配,如下所示:
# awk -F ':' '/root/ {print $1,$3} /test/ {print $1,$3}' test.txt
root 0
operator 11
test 1006
本例中,awk
匹配完root
,再匹配test
,并且只打印所匹配的段。
3. 条件操作符
有时候,在匹配字符的同时要给出限定条件,比如第 3 段为 0
。示例命令如下:
# awk -F ':' '$3=="0"' /etc/passwd
root:x:0:0:root:/root:/bin/bash
在 awk
中,我们可以用逻辑符号进行判断,比如==
就是等于,也可以理解为精确匹配。另外,还有>
、>=
、、
、
!=
等。值得注意的是,在和数字比较时,若把要比较的数字用双引号引起来,那么 awk 不会将其认为是数字,而会认为是字符,不加双引号就会认为是数字。示例命令如下:
# awk -F ':' '$3>="500"' /etc/passwd |head -n 5
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
本例中,阿铭本想把 uid 大于等于 500 的行打印出来,但是结果并不理想。这是因为 awk
把所有的数字都当作字符了,就跟上一章中提到的sort
排序原理一样。但是,如果不加双引号,就得到了想要的结果:
# awk -F ':' '$3>=500' /etc/passwd|head -n 5
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
systemd-coredump:x:999:997:systemd Core Dumper:/:/sbin/nologin
polkitd:x:998:996:User for polkitd:/:/sbin/nologin
geoclue:x:997:995:User for geoclue:/var/lib/geoclue:/sbin/nologin
unbound:x:996:991:Unbound DNS resolver:/etc/unbound:/sbin/nologin
# awk -F ':' '$7!="/sbin/nologin"' /etc/passwd
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash
上例中,!=
表示不匹配,它除了针对某一个段的字符进行逻辑比较外,还可以在两个段之间进行逻辑比较。如下所示:
# awk -F ':' '$3
另外,还可以使用 &&
和||
,它们分别表示“并且”和“或者”。&&
的用法如下:
# awk -F ':' '$3>"5" && $3
||
的用法如下:
# awk -F ':' '$3>1000 || $7=="/bin/bash"' /etc/passwd
root:x:0:0:root:/root:/bin/bash
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash
4. awk 的内置变量
awk
常用的变量有OFS
、NF
和NR
。OFS
和-F
选项有类似的功能,也是用来定义分隔符的,但是它是在输出的时候定义的。NF
表示用分隔符分隔后一共有多少段。NR
表示行号。
OFS
的用法示例如下:
# head -5 /etc/passwd |awk -F ':' '{OFS="#"} {print $1,$3,$4}'
root#0#0
bin#1#1
daemon#2#2
adm#3#4
lp#4#7
还有更高级一些的用法:
# awk -F ':' '{OFS="#"} {if ($3>=1000) {print $1,$2,$3,$4}}' /etc/passwd
nobody#x#65534#65534
aminglinux#x#1000#1000
NF
的具体用法如下:# head -n3 /etc/passwd | awk -F ':' '{print NF}'
7
7
7
# head -n3 /etc/passwd | awk -F ':' '{print $NF}'
/bin/bash
/sbin/nologin
/sbin/nologin
NF
是多少段,$NF
是最后一段的值。变量NR
的具体用法如下:# head -n3 /etc/passwd | awk -F ':' '{print NR}'
1
2
3
我们还可以使用 NR
作为判断条件,如下所示:
# awk 'NR>40' /etc/passwd
insights:x:978:976:Red Hat Insights:/var/lib/insights:/sbin/nologin
sshd:x:74:74rivilege-separated SSH:/var/empty/sshd:/sbin/nologin avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin tcpdump:x:72:72::/:/sbin/nologin aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash
NR
也可以配合段匹配一起使用,如下所示:
# awk -F ':' 'NR
5. awk 中的数学运算
awk
可以更改段值,示例命令如下:
# head -n 3 /etc/passwd |awk -F ':' '$1="root"'
root x 0 0 root /root /bin/bash
root x 1 1 bin /bin /sbin/nologin
root x 2 2 daemon /sbin /sbin/nologin
awk
也可以对各个段的值进行数学运算,示例命令如下:
# head -n2 /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
# head -n2 /etc/passwd |awk -F ':' '{$7=$3+$4}'
# head -n2 /etc/passwd |awk -F ':' '{$7=$3+$4; print $0}'
root x 0 0 root /root 0
bin x 1 1 bin /bin 2
awk
还可以计算某个段的总和,示例命令如下:
# awk -F ':' '{(tot=tot+$3)}; END {print tot}' /etc/passwd
84699
这里的 END
是awk
特有的语法,表示所有的行都已经执行。如下所示:
# awk -F ':' '{if ($1=="root") {print $0}}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
其实 awk
可以写成一个脚本文件,而且有它特有的语法。在awk
中使用if
判断、for
循环都可以,只是在日常管理工作中,使用那么复杂的语句并不常见。
最后,我们再附上常见正则字符的解释。
-
.
表示任意一个字符,比如空格、特殊符号等。 -
*
表示*
前面的字符有 0 个或多个,比如a*
那就是 0 个a
或者多个a
。 -
.*
表示任意个任意字符,就是贪婪匹配了。 -
+
就是+
前面的字符有 1 个或者多个,如a+
就是a
、aa
、aaa
…… -
?
就是?
前面的字符有 1 个或者 0 个。 -
{ }
里面是一个范围,如{1,5}
就是{ }
前面的字符有 1~5 个。 -
|
表示或者,如a|b
就是a
或者b
。 -
表示这里面的任意一个字符,如 [abc]
就是a
或者b
或者c
。此外,也可以用范围[0-9]
表示任意一个数字,用[a-z]
表示任意一个小写字母。 -
^
表示开头。 -
$
表示结尾。
原文始发于微信公众号(Linux开源社区):谈谈Linux中用于文本处理的awk命令
- 左青龙
- 微信扫一扫
- 右白虎
- 微信扫一扫
评论