歡迎光臨
每天分享高質量文章

零基礎搭建Hadoop大資料處理環境

由於hadoop需要運行在Linux環境中,而且是分佈式的,因此個人學習只能裝虛擬機,本文都以VMware Workstation為準,安裝CentOS7,具體的安裝此處不作過多介紹,只作需要用到的知識介紹。

VMware的安裝,裝好一個虛擬機後利用複製虛擬機的方式創建後面幾個虛擬機,省時省力,需要註意的是需要修改每個虛擬機的IP與主機名。

所有虛擬機採用NAT樣式上網,而且要保證與物理主機的IP互相能訪問。

需要註意的幾個問題。nat如果上網首先需要查看物理機(pc機)這個服務器已經啟動。上網的原理:流量是走的物理網卡,但是它的ip,卻是和物理機沒有關係的。 也就是說,無論你怎麼更換網絡環境,你的虛擬機都不需要做改變。這就是它的優點。

 首先在安裝VMware 之後,我們會看到多了兩個網卡

這個如果經過網絡配置的折磨,應該能找到著兩個網卡:vmnet1和vmnet8,這裡講的是vmnet8。


重點看右側第三圖你會看到ip地址,這個ip地址,因個人而異,也就是說不同網絡,不同環境,這個ip變化的概率是很大的。可能是192.168.0.1等等。這裡也相當於我們編程的一個變數,這裡是需要你根據你的環境來賦值的,建議vmnet1到vmnet8分別設置192.168.10.1到192.168.80.1,好作區分。

上面我們通過看到的虛擬機網卡的ip,為了避免混餚,上面的虛擬網卡和本地網絡配接器處於同一界面。如下圖

而下麵則是在打開虛擬機之後,通過選單彈出

彈出之後,我們在看一下虛擬機的(交換機)vmnet8. 

可以看到vmnet8子網ip和虛擬機網卡是出於同一個網段的。同時在右側net設置界面,我們可以看到網關為:192.168.106.2,改成192.168.80.2 虛擬機的設置會用到。

Linux基礎知識

Linux的學習也是一個過程,因為可能你連最簡單的開機和關機命令都不會,更不要談配置網絡。這裡面給大家提供剛開始學習所查閱的資料和經驗總結。

首先我們需要使用一些命令,進行網絡配置,但是在網絡配置中,這裡面又必須懂得虛擬機的一些知識,所以前面的虛擬機知識需要掌握扎實一些。

在此註意CentOS7與CentOS6的命令有些不同,會一些常用命令是必備,每次開機或啟動解壓安裝授權都是最基本的知識,其它的可以暫時不用學。

CentOS中安裝java環境

下載對應32或64位jdk,設置好JDK環境變數PATH,具體的配置可自行Google。

環境準備

修改機器名,每個系統中都要修改成這樣。

打開終端,切換到root用戶下修改機器名稱。

$ sudo su
$ vim /etc/sysconfig/network

在其中添加“HOSTNAME=H32”

添加每個服務器IP對應的機器名

三個ip地址都添加到各自的/etc/hosts檔案中

每個系統中都要修改成這樣

#編輯hosts
vim /etc/hosts

關閉SELinux

#編輯 SELinux 配置檔案
vim /etc/selinux/config

#改狀態
SELINUX=disabled

SSH設置

進入H30,查看ssh是否安裝,如果有,繼續,沒有安裝下。

rpm -qa|grep ssh

關於ssh的安裝參考 :

如何實現兩台服務器間無密碼的傳輸資料和操作

時間服務器安裝

這裡需要安裝時間服務器,其他的服務器通過這個來進行多機器時間的同步,分佈式部署時機器時間不一致會導致資料錯誤或組件內通訊錯誤。

安裝httpd服務

httpd是Apache超文本傳輸協議(HTTP)服務器的主程式。被設計為一個獨立運行的後臺行程,它會建立一個處理請求的子行程或執行緒的池。

安裝yum-utils

yum install yum-utils 用於在線yum安裝 它是基於RPM包管理,能夠從指定的服務器自動下載RPM包並且安裝,可以自動處理依賴性關係,並且一次安裝所有依賴的軟體包,無須繁瑣地一次次下載、安裝。yum提供了查找、安裝、刪除某一個、一組甚至全部軟體包的命令,而且命令簡潔而又好記。(需要機器能訪問外網)

準備資源和環境

下載Centos 7.2 的iso安裝鏡像,jdk1.8 for Linux壓縮包,hadoop2.7.3壓縮包(本來用hadoop3,發現後面不兼容hive的最新版本)

Java基礎知識

由於Hadoop框架原始碼都是以java來寫,因此最好都以java作為開發的最佳語言,雖然說有些用C#做了封裝,但性能已大打折扣。

Eclipse IDE使用

Linux和Windows下原始碼編譯技術

還有最重要的是你的網速要好,因為安裝過程中會下載依賴包,網不好會卡到你懷疑人生。

最後還需要有耐心,每台機子的環境都不一樣,而且每個人下載的包的版本也有可能不一樣 會導致各種問題,此時就需要耐心的去看日誌,不停的嘗試和仔細的對比安裝步驟,可能就是少了個變數 或大小寫錯誤或是要重啟。

來源:網絡大資料

精彩活動

福利 · 閱讀 | 免費申請讀大資料新書 第23期

推薦閱讀

2017年資料可視化的七大趨勢! 

全球100款大資料工具彙總(前50款) 

論大資料的十大局限

大資料時代的10個重大變革

大資料七大趨勢 第一個趨勢是物聯網


Q: 你對hadoop瞭解多少?

歡迎留言與大家分享

請把這篇文章分享給你的朋友

轉載 / 投稿請聯繫:hzzy@hzbook.com

更多精彩文章,請在公眾號後臺點擊“歷史文章”查看

赞(0)

分享創造快樂