歡迎光臨
每天分享高質量文章

5 個有用的開源日誌分析工具 | Linux 中國

監控網絡活動既重要又繁瑣,以下這些工具可以使它更容易。

— Sam Bocetta

 

監控網絡活動是一項繁瑣的工作,但有充分的理由這樣做。例如,它允許你查找和調查工作站和連接到網絡的設備及服務器上的可疑登錄,同時確定管理員濫用了什麼。你還可以跟蹤軟體安裝和資料傳輸,以實時識別潛在問題,而不是在損壞發生後才進行跟蹤。

這些日誌還有助於使你的公司遵守適用於在歐盟範圍內運營的任何物體的通用資料保護條例[1](GFPR)。如果你的網站在歐盟可以瀏覽,那麼你就有遵守的該條例的資格。

日誌記錄,包括跟蹤和分析,應該是任何監控基礎設置中的一個基本過程。要從災難中恢復 SQL Server 資料庫,需要事務日誌檔案。此外,通過跟蹤日誌檔案,DevOps 團隊和資料庫管理員(DBA)可以保持最佳的資料庫性能,又或者,在網絡攻擊的情況下找到未經授權活動的證據。因此,定期監視和分析系統日誌非常重要。這是一種重新創建導致出現任何問題的事件鏈的可靠方式。

現在有很多開源日誌跟蹤器和分析工具可供使用,這使得為活動日誌選擇合適的資源比你想象的更容易。自由和開源軟體社區提供的日誌設計適用於各種站點和操作系統。以下是五個我用過的最好的工具,它們並沒有特別的順序。

Graylog

Graylog[2] 於 2011 年在德國創立,現在作為開源工具或商業解決方案提供。它被設計成一個集中式日誌管理系統,接受來自不同服務器或端點的資料流,並允許你快速瀏覽或分析該信息。

Graylog screenshot

Graylog 在系統管理員中有著良好的聲譽,因為它易於擴展。大多數 Web 專案都是從小規模開始的,但它們可能指數級增長。Graylog 可以均衡後端服務網絡中的負載,每天可以處理幾 TB 的日誌資料。

IT 管理員會發現 Graylog 的前端界面易於使用,而且功能強大。Graylog 是圍繞儀錶板的概念構建的,它允許你選擇你認為最有價值的指標或資料源,並快速查看一段時間內的趨勢。

當發生安全或性能事件時,IT 管理員希望能夠盡可能地根據癥狀追根溯源。Graylog 的搜索功能使這變得容易。它有內置的容錯功能,可運行多執行緒搜索,因此你可以同時分析多個潛在的威脅。

Nagios

Nagios[3] 始於 1999 年,最初是由一個開發人員開發的,現在已經發展成為管理日誌資料最可靠的開源工具之一。當前版本的 Nagios 可以與運行 Microsoft Windows、Linux 或 Unix 的服務器集成。

Nagios Core

它的主要產品是日誌服務器,旨在簡化資料收集並使系統管理員更容易訪問信息。Nagios 日誌服務器引擎將實時捕獲資料,並將其提供給一個強大的搜索工具。通過內置的設置嚮導,可以輕鬆地與新端點或應用程式集成。

Nagios 最常用於需要監控其本地網絡安全性的組織。它可以審核一系列與網絡相關的事件,並幫助自動分發警報。如果滿足特定條件,甚至可以將 Nagios 配置為運行預定義的腳本,從而允許你在人員介入之前解決問題。

作為網絡審計的一部分,Nagios 將根據日誌資料來源的地理位置過濾日誌資料。這意味著你可以使用地圖技術構建全面的儀錶板,以瞭解 Web 流量是如何流動的。

Elastic Stack (ELK Stack)

Elastic Stack[4],通常稱為 ELK Stack,是需要篩選大量資料並理解其日誌系統的組織中最受歡迎的開源工具之一(這也是我個人的最愛)。

ELK Stack

它的主要產品由三個獨立的產品組成:Elasticsearch、Kibana 和 Logstash:

◈ 顧名思義, Elasticsearch 旨在幫助用戶使用多種查詢語言和型別在資料集之中找到匹配項。速度是它最大的優勢。它可以擴展成由數百個服務器節點組成的集群,輕鬆處理 PB 級的資料。
◈ Kibana 是一個可視化工具,與 Elasticsearch 一起工作,允許用戶分析他們的資料並構建強大的報告。當你第一次在服務器集群上安裝 Kibana 引擎時,你會看到一個顯示著統計資料、圖表甚至是動畫的界面。
◈ ELK Stack 的最後一部分是 Logstash,它作為一個純粹的服務端管道進入 Elasticsearch 資料庫。你可以將 Logstash 與各種編程語言和 API 集成,這樣你的網站和移動應用程式中的信息就可以直接提供給強大的 Elastic Stalk 搜索引擎中。

ELK Stack 的一個獨特功能是,它允許你監視構建在 WordPress 開源網站上的應用程式。與跟蹤管理日誌和 PHP 日誌[5]的大多數開箱即用的安全審計日誌工具相比,ELK Stack 可以篩選 Web 服務器和資料庫日誌。

糟糕的日誌跟蹤和資料庫管理是導致網站性能不佳的最常見原因之一。沒有定期檢查、優化和清空資料庫日誌,不僅會降低站點的運行速度,還可能導致其完全崩潰。因此,ELK Stack 對於每個 WordPress 開發人員的工具包來說都是一個優秀的工具。

LOGalyze

LOGalyze[6] 是一個位於匈牙利的組織,它為系統管理員和安全專家構建開源工具,以幫助他們管理服務器日誌,並將其轉換為有用的資料點。其主要產品可供個人或商業用戶免費下載。

LOGalyze

LOGalyze 被設計成一個巨大的管道,其中多個服務器、應用程式和網絡設備可以使用簡單物件訪問協議(SOAP)方法提供信息。它提供了一個前端界面,管理員可以登錄界面來監控資料集並開始分析資料。

在 LOGalyze 的 Web 界面中,你可以運行動態報告,並將其匯出到 Excel 檔案、PDF 檔案或其他格式。這些報告可以基於 LOGalyze 後端管理的多維統計信息。它甚至可以跨服務器或應用程式組合資料欄位,藉此來幫助你發現性能趨勢。

LOGalyze 旨在不到一個小時內完成安裝和配置。它具有預先構建的功能,允許它以法律所要求的格式收集審計資料。例如,LOGalyze 可以很容易地運行不同的 HIPAA 報告,以確保你的組織遵守健康法律並保持合規性。

Fluentd

如果你所在組織的資料源位於許多不同的位置和環境中,那麼你的標的應該是盡可能地將它們集中在一起。否則,你將難以監控性能並防範安全威脅。

Fluentd[7] 是一個強大的資料收集解決方案,它是完全開源的。它沒有提供完整的前端界面,而是作為一個收集層來幫助組織不同的管道。Fluentd 在被世界上一些最大的公司使用,但是也可以在較小的組織中實施。

Fluentd architecture

Fluentd 最大的好處是它與當今最常用的技術工具兼容。例如,你可以使用 Fluentd 從 Web 服務器(如 Apache)、智慧設備傳感器和 MongoDB 的動態記錄中收集資料。如何處理這些資料完全取決於你。

Fluentd 基於 JSON 資料格式,它可以與由卓越的開發人員創建的 500 多個插件[8]一起使用。這使你可以將日誌資料擴展到其他應用程式中,並通過最少的手工操作從中獲得更好的分析。

寫在最後

如果出於安全原因、政府合規性和衡量生產力的原因,你還沒有使用活動日誌,那麼現在開始改變吧。市場上有很多插件,它們可以與多種環境或平臺一起工作,甚至可以在內部網絡上使用。不要等發生了嚴重的事件,才採取一個積極主動的方法去維護和監督日誌。

已同步到看一看
赞(0)

分享創造快樂