歡迎光臨
每天分享高質量文章

Linux文本分析命令awk的妙用

來自:Java識堂(微信號:erlieStar)

0、基本用法

awk是一個強大的文本分析工具,簡單來說awk就是把檔案逐行讀入,(空格,製表符)為預設分隔符將每行切片,切開的部分再進行各種分析處理

 

awk命令格式如下

awk [-F field-separator] 'commands' input-file(s)

[-F 分隔符]是可選的,因為awk使用空格,製表符作為預設的欄位分隔符,因此如果要瀏覽欄位間有空格,製表符的文本,不必指定這個選項,但如果要瀏覽諸如/etc/passwd檔案,此檔案各欄位以冒號作為分隔符,則必須指明-F選項

echo "this is a test" | awk '{ print $0 }'

## 輸出為
this is a test

shell讀取用戶輸入的字串發現|,代表有管道。|左右被理解為簡單命令,即前一個(左邊)簡單命令的標準輸出指向後一個(右邊)標準命令的標準輸入

awk會根據分隔符將行分成若干個欄位,$0為整行,$1為第一個欄位,$2 為第2個地段,依此類推…

為打印一個欄位或所有欄位,使用print命令。這是一個awk動作

echo "this is a test" | awk '{ print $1 }'
## 輸出為
this

echo "this is a test" | awk '{ print $1, $2 }'
## 輸出為
this is

/etc/passwd的檔案內容如下

root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

舉幾個簡單的小需求


1、只顯示/etc/passwd的賬戶

awk -F : '{ print $1 }' /etc/passwd

## 輸出為
root
bin
daemon
adm
lp

2、顯示/etc/passwd的第1列和第7列,用逗號分隔顯示,所有行開始前添加列名start1,start7,最後一行添加,end1,end7

awk -F ':' 'BEGIN {print "start1,start7"} {print $1 "," $7} END {print "end1,end7"}' /etc/passwd

## 輸出為
start1,start7
root,/bin/bash
bin,/sbin/nologin
daemon,/sbin/nologin
adm,/sbin/nologin
lp,/sbin/nologin
end1,end7

BEGIN陳述句在所有文本處理動作執行之前被執行,END在所有文本處理動作執行之後被執行

3、統計/etc/passwd檔案中,每行的行號,每行的列數,對應的完整行內容

awk -F : '{ print NR "	" NF "	" $0 }' /etc/passwd

## 輸出為
1    7   root:x:0:0:root:/root:/bin/bash
2    7   bin:x:1:1:bin:/bin:/sbin/nologin
3    7   daemon:x:2:2:daemon:/sbin:/sbin/nologin
4    7   adm:x:3:4:adm:/var/adm:/sbin/nologin
5    7   lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

1、支持內置變數

上面示例中NR,和NF其實就是awk的內置變數,一些內置變數如下

 

變數名 解釋
FILENAME awk瀏覽的檔案名
FS 設置輸入欄位分隔符,等價於命令列-F選項
NF 瀏覽記錄的欄位個數
NR 已讀的記錄數

2、支持函式

輸出字串的長度

awk 'BEGIN { print length("this is a text") }'

## 輸出為
14

將/etc/passwd的用戶名變成大寫輸出

awk -F ':' '{ print toupper($1) }' /etc/passwd

## 輸出為
ROOT
BIN
DAEMON
ADM
LP

常用函式如下

函式名 作用
toupper(s) 傳回s的大寫
tolower(s) 傳回s的小寫
length(s) 傳回s長度
substr(s,p) 傳回字串s中從p開始的後綴部分

 

3、支持條件操作,正則運算式匹配

顯示/etc/passwd中有daemon的行

awk -F ':' '$0 ~ /daemon/' /etc/passwd

## 輸出為
daemon:x:2:2:daemon:/sbin:/sbin/nologin

awk條件運算子

運算子 描述
< 小於
<= 小於等於
== 等於
!= 不等於
~ 匹配正則運算式
!~ 不匹配正則運算式

 

4、支持流程控制陳述句,類C語言

if while do/while for break continue

輸出第一個欄位的第一個字符大於d的行

 

awk -F ':' '{ if ($1 > "d") { print $1 } else { print "-" } }' /etc/passwd

## 輸出為
root
-
daemon
-
lp

可以把流程控制陳述句放到一個腳本中,然後呼叫腳本執行,如test.sh的內容如下

{ 
    if ($1 > "d") {
        print $1 
    } else {
        print "-" 
    } 
}

用如下方式執行,效果一樣

awk -F ':' -f test.sh /etc/passwd

## 輸出為
root
-
daemon
-
lp

5、應用場景

小編用awk進行文本分析比較少,主要用來寫腳本
如一個weibo-interface-1.0.jar應用,啟動腳本如下
start.sh

nohup java -jar weibo-interface-1.0.jar >out 2>&1 &

關閉腳本如下,kill.sh

kill -9 `jps -l | grep 'weibo-interface-1.0.jar' | awk '{print $1}'`

jps -l的輸出如下

70208 com.st.kmp.main.KmpService
31036 com.st.cis.main.BaiduAnalysisService
66813 weibo-interface-1.0.jar

還有就是關閉hadoop集群的所有DataNode節點(不知道hadoop的可以認為DataNode是一個集群應用),假如一個個機器jps,查看pid,kill。很麻煩,直接寫了一個腳本,依次ssh到各個節點,然後執行如下命令即可

kill `jps | grep 'DataNode' | awk '{print $1}'`

jps的輸出為

508 DataNode
31481 JournalNode
31973 NodeManager

赞(0)

分享創造快樂