歡迎光臨
每天分享高質量文章

分類推薦&通俗易懂 :資料科學與大資料技術專業領域的實用工具

資料科學與大資料技術是一門偏嚮應用的學科領域,因此工具就成為重要的組成部分。在工作中,資料科學家如果選擇有效的工具會帶來事半功倍的效果。一般來說,資料科學家應該具有運算元據庫、資料處理和資料可視化等相關技能,還有很多人還認為計算機技能也是不可或缺的,可以提高資料科學家工作的效率。

開源社區多年來對資料科學工具包開發有著巨大貢獻,這也讓資料科學領域得以不斷進步。這裡我們收集了一些在資料庫、編程語言、機器學習、可視化、計算機等方面的開源工具。希望可以幫助到更多資料科學家及對這個領域感興趣的人。

1.  資料庫

1.1 MongoDB

MongoDB是一個以可伸縮性和高性能著稱的NoSQL資料庫。它提供了傳統資料庫的強大替代品,並使特定應用程式中的資料集成更加容易。特別適用於構建大型web應用程式。

1.2 Apache HBase

Apache HBase(Hadoop資料庫)是一個分佈式、可擴展的大資料儲存。資料科學家在需要對大資料進行隨機、實時讀/寫訪問時,可以使用這個開源工具。

2.  編程語言

2.1 R

R是一種用於資料處理和圖形處理的編程語言,是資料科學家和分析人員使用的一種流行工具。根據資料科學家的說法,R語言是最容易學習的語言之一,因為有大量的包和指南可供用戶使用。

2.2 Python

Python是資料科學家中另一種廣泛使用的語言,它是一種通用編程語言,著眼於可讀性和簡單性。而且python中有非常多可以用於資料處理、機器學習和可視化的代碼庫。

資料科學中常用的庫見文章:https://mp.weixin.qq.com/s/dLrZWsqrZW7XqG6phS3R7g

2.3 Scala

Scala是一種運行在Java平臺上的通用編程語言。它適用於大型資料集,主要用於Apache Spark和Apache Kafka等大資料工具。這種函式式編程風格帶來了速度和更高的生產率,這導致越來越多的公司慢慢地將其作為資料科學工具包的重要組成部分加以適應。

2.4 SQL

SQL是用於儲存在關係資料庫中的資料的專用編程語言。SQL用於更基本的資料分析,可以執行組織和運算元據或從資料庫檢索資料等任務。在資料科學工具中,它是在資料庫中過濾和選擇資料的最佳工具之一。

2.5 Julia

Julia是一種用於技術計算的動態編程語言。它沒有被廣泛使用,但由於其靈活性、設計和性能,在資料科學工具中越來越受歡迎。

3.  資料挖掘

3.1 RapidMiner

RapidMiner是一個具有可視化和統計建模功能的預測分析工具。該軟體的基礎是RapidMiner Studio,它是一個免費的開源平臺。

3.2 Data Melt

Data Melt是一款數學軟體,擁有先進的數學計算、統計分析和資料挖掘功能,而且可以通過編程語言進行補充,甚至包含一個廣泛的教程庫。

此外,Python和R中都有很多用於資料挖掘的庫,這裡就不再贅述了。

4.  機器學習

4.1 Weka

Weka是由懷卡托大學用Java編寫的機器學習軟體。它用於資料挖掘,允許用戶處理大資料集。Weka的一些特性包括預處理、分類、回歸、聚類、實驗、工作流和可視化。

4.2 TensorFlow

TensorFlow是一個用於數值計算的軟體庫,它允許程式員在不需要理解其背後的一些複雜原理的情況下的應用深度學習,並被列為幫助數千家公司應用深度學習的資料科學工具之一。

4.2 Apache Mahout

Apache Mahout是一種構建可伸縮機器學習演算法的環境。演算法是在Hadoop上編寫的。Mahout實現了三個主要的機器學習任務:協同過濾、聚類和分類。

4.3 Orange

Orange一個是簡單的資料科學工具,它致力於使資料科學變得有趣和交互式,允許用戶在不需要編碼的情況下分析和可視化資料,也為初學者提供機器學習選項。

4.4 MLBase

MLBase是加州大學伯克利分校的AMP(演算法機器人)實驗室開發的一個開源專案。背後的核心思想是為機器學習應用於大規模問題提供一個簡單的解決方案。

5.  資料可視化

5.1 D3

5.2 Axiis

在資料科學工具中,Axiis是一個鮮為人知的資料可視化框架。它允許用戶以一種富有表現力和簡潔的形式使用預先構建的組件構建圖表和探索資料。

6.  其他工具

6.1 Linux

Bash腳本是計算機科學中最基本的工具,並且資料科學中很大一部分需要編程,必須用一些命令列來處理包、框架管理、環境變數、訪問路徑($PATH)等等,因此Linux是必要的。

6.2 Git

在團隊中編碼時,可以借助 git解決團隊成員代碼衝突、修複bug、更新。將代碼提交到開源或私有的repo(如Github)時,可以使用Coveralls之類的東西進行代碼測試,還有幫助部署代碼到生產中的其他框架。

6.3 REST APIs

REST APIs可以讓本地的訓練模型和可用程式無縫銜接。通過標準API呼叫或開發可用的應用程式真正讓資料科學模型進行預測。這也是其在資料科學中的巨大作用。

6.4 Docker & Kubernetes

Docker讓用戶擁有一個生產就緒(production ready)的應用環境,不需要為每個運行的單個服務集中配置生產服務器。與需要安裝完整操作系統的虛擬機不同,docker容器在與主機相同的內核上運行,並且輕量得多。一些高級的機器學習庫(如Tensorflow)需要特定的配置,很難在某些主機上進行故障排除,docker就是一個很好地選擇。

Kubernetes(K8s)是一個在多主機上進行規模管理和部署容器化服務的平臺。本質上,這意味著您可以輕鬆地通過跨水平可擴展集群,管理和部署docker容器。

6.5 Apache Airflow

Airflow是一個較為小眾的Python平臺,可以使用有向無環圖(DAG)程式化地創建、調度和監控工作流。它能讓你可以隨時根據需要輕鬆地設置Python或bash腳本,併在用戶友好的GUI中控制調度作業。

6.6 Elasticsearch

Elasticsearch也是一個比較小眾的工具。Elastic通過Python客戶端便捷地提供了所需的一切,讓你可以輕鬆地以容錯和可擴展的方式索引和搜索文件。你擁有的資料越多,啟動的節點就越多,查詢執行的速度就越快。它有很多功能,甚至支持多語言分析器等定製插件。

6.7 Homebrew

Homebrew是一個Mac OS系統的工具,可以幫助不能開箱即用的OS系統通過終端命令進行安裝, 彌補了OS系統無包管理的缺陷。

「完」

參考文章:

1、https://towardsdatascience.com/some-important-data-science-tools-that-arent-python-r-sql-or-math-96a109fa56d?source=email-217aec881dc8-1545693805102-digest.reader——1-50——————bed3ef37_25ac_4071_bf66_820b008c9815-12§ionName;=topic

2、https://www.springboard.com/blog/data-science-toolkit/

3、https://www.ngdata.com/top-tools-for-data-scientists/

編寫、排版、校對:冀佳鈺、朝樂門;

    赞(0)

    分享創造快樂