【演演算法】隨機森林演演算法

隨機森林可以用於幾乎任何一種預測問題（包括非線性問題）。它是一個相對較新的機器學習策略（90年代誕生於貝爾實驗室）可以用在任何方面。它屬於機器學習中的整合學習這一大類。

1.1 整合學習

整合學習是將多個模型進行組合來解決單一的預測問題。它的原理是生成多個分類器模型，各自獨立地學習並作出預測。這些預測最後結合起來得到預測結果，因此和單獨分類器的結果相比，結果一樣或更好。

隨機森林是整合學習的一個分支，因為它依靠於決策樹的整合。更多關於python實現整合學習的檔案： Scikit-Learn 檔案。

1.2 隨機決策樹

我們知道隨機森林是將其他的模型進行聚合， 但具體是哪種模型呢？從其名稱也可以看出，隨機森林聚合的是分類（或回歸） 樹。一顆決策樹是由一系列的決策組合而成的，可用於資料集的觀測值進行分類 。

1.3 隨機森林

引入的隨機森林演演算法將自動建立隨機決策樹群。由於這些樹是隨機生成的，大部分的樹(甚至 99.9%)對解決你的分類或回歸問題是沒有有意義。

1.4 投票

那麼，生成甚至上萬的糟糕的模型有什麼好處呢？好吧，這確實沒有。但有用的是，少數非常好的決策樹也隨之一起生成了。

當你要做預測的時候，新的觀察值隨著決策樹自上而下走下來並被賦予一個預測值或標簽。一旦森林中的每棵樹都給有了預測值或標簽，所有的預測結果將被歸總到一起，所有樹的投票傳回做為最終的預測結果。

簡單來說，99.9%不相關的樹做出的預測結果涵蓋所有的情況，這些預測結果將會彼此抵消。少數優秀的樹的預測結果將會脫穎而出，從而得到一個好的預測結果。

隨機森林是機器學習方法中的Leatherman（多功能摺疊刀）。你幾乎可以把任何東西扔給它。它在估計推斷對映方面做的特別好，從而不需要類似SVM醫一樣過多的調參（這點對時間緊迫的朋友非常好）。

2.1 一個對映的例子

隨機森林可以在未經特意手工進行資料變換的情況下學習。以函式f(x)=log(x)為例。

我們將在Yhat自己的互動環境Rodeo中利用Python生成分析資料，你可以在here下載Rodeo的Mac,Windows和Linux的安裝檔案。

首先，我們先生成一下資料並新增噪聲。

import numpy as np      
import pylab as pl      

x = np.random.uniform(1, 100, 1000)      
y = np.log(x) + np.random.normal(0, .3, 1000)      

pl.scatter(x, y, s=1, label="log(x) with noise")      

pl.plot(np.arange(1, 100), np.log(np.arange(1, 100)), c="b", label="log(x) true function")      
pl.xlabel("x")      
pl.ylabel("f(x) = log(x)")      
pl.legend(loc="best")      
pl.title("A Basic Log Function")      
pl.show()

得到如下結果：

如果我們建立了一個基本的線性模型透過使用x來預測y，我們需要作一條直線，一定成都市算是平分log(x)函式。而如果我們使用隨機森林演演算法，它可以更好的逼近log(x)曲線從而使得它看起來更像實際的函式。 

當然，你也可以說隨機森林對log(x)函式有點過擬合。不管怎麼樣，這說明瞭隨機森林並不限於線性問題。

from sklearn.datasets import load_iris   
from sklearn.ensemble import RandomForestClassifier   
import pandas as pd   
import numpy as np   

iris = load_iris()   
df = pd.DataFrame(iris.data, columns=iris.feature_names)   
df['is_train'] = np.random.uniform(0, 1, len(df)) <= .75   df['species'] = pd.Categorical.from_codes(iris.target, iris.target_names)   
df.head()   

train, test = df[df['is_train']==True], df[df['is_train']==False]   

features = df.columns[:4]   
clf = RandomForestClassifier(n_jobs=2)y, _ = pd.factorize(train['species'])   
clf.fit(train[features], y)   

preds = iris.target_names[clf.predict(test[features])]   

pd.crosstab(test['species'], preds, rownames=['actual'], colnames=['preds'])