利用ELK搭建Docker容器化應用日誌中心

應用一旦容器化以後，需要考慮的就是如何採集位於Docker容器中的應用程式的列印日誌供運維分析。典型的比如SpringBoot應用的日誌收集。

本文即將闡述如何利用ELK日誌中心來收集容器化應用程式所產生的日誌，並且可以用視覺化的方式對日誌進行查詢與分析，其架構如下圖所示：

架構圖

映象準備

映象準備

• ElasticSearch映象

• Logstash映象

• Kibana映象

• Nginx映象（作為容器化應用來生產日誌）

開啟Linux系統Rsyslog服務

修改Rsyslog服務配置檔案：

vim /etc/rsyslog.conf

開啟下麵三個引數：

$ModLoad imtcp
$InputTCPServerRun 514
*.* @@localhost:4560

開啟3個引數

意圖很簡單：讓Rsyslog載入imtcp模組並監聽514埠，然後將Rsyslog中收集的資料轉發到本地4560埠！

然後重啟Rsyslog服務：

systemctl restart rsyslog

檢視rsyslog啟動狀態：

netstat -tnl

netstat -tnl

部署ElasticSearch服務

docker run -d  -p 9200:9200 \
 -v ~/elasticsearch/data:/usr/share/elasticsearch/data \
 --name elasticsearch elasticsearch

ES啟動成功效果

部署Logstash服務

新增 ~/logstash/logstash.conf 配置檔案如下：

input {
  syslog {
    type => "rsyslog"
    port => 4560
  }
}
output {
  elasticsearch {
    hosts => [ "elasticsearch:9200" ]
  }
}

配置中我們讓Logstash從本地的Rsyslog服務中取出應用日誌資料，然後轉發到ElasticSearch資料庫中！

配置完成以後，可以透過如下命令來啟動Logstash容器：

docker run -d -p 4560:4560 \
-v ~/logstash/logstash.conf:/etc/logstash.conf \
--link elasticsearch:elasticsearch \
--name logstash logstash \
logstash -f /etc/logstash.conf

部署Kibana服務

docker run -d -p 5601:5601 \
--link elasticsearch:elasticsearch \
-e ELASTICSEARCH_URL=http://elasticsearch:9200 \
--name kibana kibana

啟動Nginx容器來生產日誌

docker run -d -p 90:80 --log-driver syslog --log-opt \
syslog-address=tcp://localhost:514 \
--log-opt tag="nginx" --name nginx nginx

很明顯Docker容器中的Nginx應用日誌轉發到本地syslog服務中，然後由syslog服務將資料轉給Logstash進行收集。

至此，日誌中心搭建完畢，目前一共四個容器在工作：

實驗驗證

• 瀏覽器開啟localhost:90來開啟Nginx介面，並掃清幾次，讓後臺產生GET請求的日誌

• 開啟Kibana視覺化介面：localhost:5601

  

  localhost:5601

• 收集Nginx應用日誌

  

  收集Nginx應用日誌

• 查詢應用日誌

  在查詢框中輸入program=nginx可查詢出特定日誌

  

  查詢應用日誌

原文連結：https://www.jianshu.com/p/a40c36beee63

Kubernetes零基礎進階培訓

本次培訓內容包括：容器原理、Docker架構及工作原理、Docker網路與儲存方案、Harbor、Kubernetes架構、元件、核心機制、外掛、核心模組、Kubernetes網路與儲存、監控、日誌、二次開發以及實踐經驗等，點選瞭解具體培訓內容。

4月20日正式上課，點選閱讀原文連結即可報名。