歡迎光臨
每天分享高質量文章

Redis 命令列工具有趣的罕見用法

資料技術嘉年華等你來

精彩預告:第八屆資料技術嘉年華大會將於2018年11月16日~17日北京市富力萬麗酒店盛大開啟。本次大會圍繞資料、智慧、鏈接組織前沿議題,倡導以智慧智慧演算法應用,發掘資料價值,以技術將企業鏈接到未來的戰略制高點

 

福利全場通票等你搶

點擊“原文鏈接”查看大會詳情。

我們天天都在使用 Redis 內置的命令列工具 redis-cli,久而久之以為它就是一個簡單的交互式 Redis 資料結構手工操作程式,但是它背後強大的功能絕大多數同學可能聞所未聞。本節我們一起來挖掘這些鮮為人知的有趣用法。

執行單條命令

平時在訪問 Redis 服務器,一般都會使用 redis-cli 進入交互樣式,然後一問一答來讀寫服務器,這種情況下我們使用的是它的「交互樣式」。還有另外一種「直接樣式」,通過將命令引數直接傳遞給 redis-cli 來執行指令並獲取輸出結果。

$ redis-cli incrby foo 5
(integer) 5
$ redis-cli incrby foo 5
(integer) 10


如果輸出的內容較大,還可以將輸出重定向到外部檔案

$ redis-cli info > info.txt
$ wc -l info.txt
     120 info.txt


上面的命令指向的服務器是預設服務器地址,如果想指向特定的服務器可以這樣

// -n 2 表示使用第2個庫,相當於 select 2
$ redis-cli -h localhost -p 6379 -n 2 ping
PONG

批量執行命令

在平時線上的開發過程中,有時候我們免不了要手工造資料,然後匯入 Redis。通常我們會編寫腳本程式來做這件事。不過還有另外一種比較便捷的方式,那就是直接使用 redis-cli 來批量執行一系列指令。

$ cat cmds.txt
set foo1 bar1
set foo2 bar2
set foo3 bar3
......
$ cat cmds.txt | redis-cli
OK
OK
OK
...


上面的指令使用了 Unix 管道將 cat 指令的標準輸出連接到 redis-cli 的標準輸入。其實還可以直接使用輸入重定向來批量執行指令。

$ redis-cli OK
OK
OK
...

set 多行字串

如果一個字串有多行,你希望將它傳入 set 指令,redis-cli 要如何做?可以使用 -x 選項,該選項會使用標準輸入的內容作為最後一個引數。

$ cat str.txt
Ernest Hemingway once wrote,
"The world is a fine place and worth fighting for."
I agree with the second part.
$ redis-cli -x set foo OK
$ redis-cli get foo
"Ernest Hemingway once wrote,\n\"The world is a fine place and worth fighting for.\"\nI agree with the second part.\n"

重覆執行指令

redis-cli 還支持重覆執行指令多次,每條指令執行之間設置一個間隔時間,如此便可以觀察某條指令的輸出內容隨時間變化。

// 間隔1s,執行5次,觀察qps的變化
$ redis-cli -r 5 -i 1 info | grep ops
instantaneous_ops_per_sec:43469
instantaneous_ops_per_sec:47460
instantaneous_ops_per_sec:47699
instantaneous_ops_per_sec:46434
instantaneous_ops_per_sec:47216


如果將次數設置為 -1 那就是重覆無數次永遠執行下去。如果不提供 -i 引數,那就沒有間隔,連續重覆執行。在交互樣式下也可以重覆執行指令,形式上比較怪異,在指令前面增加次數

127.0.0.1:6379> 5 ping
PONG
PONG
PONG
PONG
PONG
# 下麵的指令很可怕,你的屏幕要憤怒了
127.0.0.1:6379> 10000 info
.......

匯出 csv

redis-cli 不能一次匯出整個庫的內容為 csv,但是可以匯出單條指令的輸出為 csv 格式。

$ redis-cli rpush lfoo a b c d e f g
(integer) 7
$ redis-cli --csv lrange lfoo 0 -1
"a","b","c","d","e","f","g"
$ redis-cli hmset hfoo a 1 b 2 c 3 d 4
OK
$ redis-cli --csv hgetall hfoo
"a","1","b","2","c","3","d","4"


當然這種匯出功能比較弱,僅僅是一堆字串用逗號分割開來。不過你可以結合命令的批量執行來看看多個指令的匯出效果。

$ redis-cli --csv -r 5 hgetall hfoo
"a","1","b","2","c","3","d","4"
"a","1","b","2","c","3","d","4"
"a","1","b","2","c","3","d","4"
"a","1","b","2","c","3","d","4"
"a","1","b","2","c","3","d","4"


看到這裡讀者應該明白 –csv 引數的效果就是對輸出做了一次轉換,用逗號分割,僅此而已。

執行 lua 腳本

在 lua 腳本小節,我們使用 eval 指令來執行腳本字串,每次都是將腳本內容壓縮成單行字串再呼叫 eval 指令,這非常繁瑣,而且可讀性很差。redis-cli 考慮到了這點,它可以直接執行腳本檔案。

127.0.0.1:6379> eval "return redis.pcall('mset', KEYS[1], ARGV[1], KEYS[2], ARGV[2])" 2 foo1 foo2 bar1 bar2
OK
127.0.0.1:6379> eval "return redis.pcall('mget', KEYS[1], KEYS[2])" 2 foo1 foo2
1"bar1"
2"bar2"


下麵我們以腳本的形式來執行上面的指令,引數形式有所不同,KEY 和 ARGV 之間需要使用逗號分割,並且不需要提供 KEY 的數量引數

$ cat mset.txt
return redis.pcall('mset', KEYS[1], ARGV[1], KEYS[2], ARGV[2])
$ cat mget.txt
return redis.pcall('mget', KEYS[1], KEYS[2])
$ redis-cli --eval mset.txt foo1 foo2 , bar1 bar2
OK
$ redis-cli --eval mget.txt foo1 foo2
1"bar1"
2"bar2"


如果你的 lua 腳本太長,–eval 將大有用處。

監控服務器狀態

我們可以使用 –stat 引數來實時監控服務器的狀態,間隔 1s 實時輸出一次。

$ redis-cli --stat
------- data ------ --------------------- load -------------------- - child -
keys       mem      clients blocked requests            connections
2          6.66M    100     0       11591628 (+0)       335
2          6.66M    100     0       11653169 (+61541)   335
2          6.66M    100     0       11706550 (+53381)   335
2          6.54M    100     0       11758831 (+52281)   335
2          6.66M    100     0       11803132 (+44301)   335
2          6.66M    100     0       11854183 (+51051)   335


如果你覺得間隔太長或是太短,可以使用 -i 引數調整輸出間隔。

掃描大 KEY

這個功能太實用了,我已經在線上試過無數次了。每次遇到 Redis 偶然卡頓問題,第一個想到的就是實體中是否存在大 KEY,大 KEY的記憶體擴容以及釋放都會導致主執行緒卡頓。如果知道裡面有沒有大 KEY,可以自己寫程式掃描,不過這太繁瑣了。redis-cli 提供了 –bigkeys 引數可以很快掃出記憶體里的大 KEY,使用 -i 引數控制掃描間隔,避免掃描指令導致服務器的 ops 陡增報警。

$ ./redis-cli --bigkeys -i 0.01
# Scanning the entire keyspace to find biggest keys as well as
# average sizes per key type.  You can use -i 0.1 to sleep 0.1 sec
# per 100 SCAN commands (not usually needed).

[00.00%] Biggest zset   found so far 'hist:aht:main:async_finish:20180425:17' with 1440 members
[00.00%] Biggest zset   found so far 'hist:qps:async:authorize:20170311:27' with 2465 members
[00.00%] Biggest hash   found so far 'job:counters:6ya9ypu6ckcl' with 3 fields
[00.01%] Biggest string found so far 'rt:aht:main:device_online:68:{-4}' with 4 bytes
[00.01%] Biggest zset   found so far 'machine:load:20180709' with 2879 members
[00.02%] Biggest string found so far '6y6fze8kj7cy:{-7}' with 90 bytes


redis-cli 對於每一種物件型別都會記錄長度最大的 KEY,對於每一種物件型別,掃清一次最高記錄就會立即輸出一次。它能保證輸出長度為 Top1 的 KEY,但是 Top2、Top3等 KEY 是無法保證可以掃描出來的。一般的處理方法是多掃描幾次,或者是消滅了 Top1 的 KEY 之後再掃描確認還有沒有次大的 KEY。

採樣服務器指令

現在線上有一臺 Redis 服務器的 OPS 太高,有很多業務模塊都在使用這個 Redis,如何才能判斷出來是哪個業務導致了 OPS 異常的高。這時可以對線上服務器的指令進行採樣,觀察採樣的指令大致就可以分析出 OPS 占比高的業務點。這時就要使用 monitor 指令,它會將服務器瞬間執行的指令全部顯示出來。不過使用的時候要註意即使使用 ctrl+c 中斷,否則你的顯示器會噼里啪啦太多的指令瞬間讓你眼花繚亂。

$ redis-cli --host 192.168.x.x --port 6379 monitor
1539853410.458483 [0 10.100.90.62:34365"GET" "6yax3eb6etq8:{-7}"
1539853410.459212 [0 10.100.90.61:56659"PFADD" "growth:dau:20181018" "2klxkimass8w"
1539853410.462938 [0 10.100.90.62:20681"GET" "6yax3eb6etq8:{-7}"
1539853410.467231 [0 10.100.90.61:40277"PFADD" "growth:dau:20181018" "2kei0to86ps1"
1539853410.470319 [0 10.100.90.62:34365"GET" "6yax3eb6etq8:{-7}"
1539853410.473927 [0 10.100.90.61:58128"GET" "6yax3eb6etq8:{-7}"
1539853410.475712 [0 10.100.90.61:40277"PFADD" "growth:dau:20181018" "2km8sqhlefpc"
1539853410.477053 [0 10.100.90.62:61292"GET" "6yax3eb6etq8:{-7}"

診斷服務器時延

平時我們診斷兩台機器的時延一般是使用 Unix 的 ping 指令。Redis 也提供了時延診斷指令,不過它的原理不太一樣,它是診斷當前機器和 Redis 服務器之間的指令(PING指令)時延,它不僅僅是物理網絡的時延,還和當前的 Redis 主執行緒是否忙碌有關。如果你發現 Unix 的 ping 指令時延很小,而 Redis 的時延很大,那說明 Redis 服務器在執行指令時有微弱卡頓。

$ redis-cli --host 192.168.x.x --port 6379 --latency
min0max5, avg: 0.08 (305 samples)


時延單位是 ms。redis-cli 還能顯示時延的分佈情況,而且是圖形化輸出。

$ redis-cli --latency-dist
圖片


這個圖形的含義作者沒有描述,讀者們可以嘗試破解一下。

遠程 rdb 備份

執行下麵的命令就可以將遠程的 Redis 實體備份到本地機器,遠程服務器會執行一次bgsave操作,然後將 rdb 檔案傳輸到客戶端。遠程 rdb 備份讓我們有一種“秀才不出門,全知天下事”的感覺。

$ ./redis-cli --host 192.168.x.x --port 6379 --rdb ./user.rdb
SYNC sent to master, writing 2501265095 bytes to './user.rdb'
Transfer finished with success.

模擬從庫

如果你想觀察主從服務器之間都同步了那些資料,可以使用 redis-cli 模擬從庫。

$ ./redis-cli --host 192.168.x.x --port 6379 --slave
SYNC with master, discarding 51778306 bytes of bulk transfer...
SYNC done. Logging commands from master.
...


從庫連上主庫的第一件事是全量同步,所以看到上面的指令卡頓這很正常,待首次全量同步完成後,就會輸出增量的 aof 日誌。

轉載:碼洞

溫馨提示:2018 資料技術嘉年華即將開啟,點擊“原文鏈接”註冊購票哦,購票過程中有任何問題,可加小助手微信:Enmoedu05。

資料技術嘉年華等你來!


近期文章

 

刪了庫之後,不要著急跑路

一道面試題看資料庫性能和安全的方方面面

Percona發佈XtraBackup for MySQL 8.0

獨立發佈的Oracle嚴重CVE-2018-3110公告

Oracle宣佈在雲上正式上線 自治事務處理資料庫

為什麼看了那麼多災難,還是過不好備份這一關?

    赞(0)

    分享創造快樂