歡迎光臨
每天分享高質量文章

如何為你的回歸問題選擇最合適的機器學習方法 ?

(給演算法愛好者加星標,修煉編程內功

作者:何從慶(本文來自作者投稿)

在目前的機器學習領域中,最常見的三種任務就是:回歸分析、分類分析、聚類分析。那麼什麼是回歸呢?回歸分析是一種預測性的建模技術,它研究的是因變數(標的)和自變數(預測器)之間的關係。回歸分析在機器學習領域應用非常廣泛,例如,商品的銷量預測問題,交通流量預測問題。那麼,如何為這些回歸問題選擇最合適的機器學習演算法呢?這篇文章將從以下一個方面介紹:

1、常用的回歸演算法

2、回歸競賽問題以及解決方案

3、正在進行中的回歸競賽問題

常用的回歸演算法

這裡介紹一些回歸問題中常用的機器學習方法,sklearn作為機器學習中一個強大的演算法包內置了許多經典的回歸演算法,下麵將一一介紹各個演算法:

註:下麵回歸演算法的代碼已上傳至網盤,如果有小伙伴感興趣,歡迎關註”AI演算法之心“,後臺回覆”回歸演算法“。

1、線性回歸

線性回歸擬合一個帶繫數的線性模型,以最小化資料中的觀測值與線性預測值之間的殘差平方和。

sklearn中也存在線性回歸的演算法庫的接口,代碼示例如下所示:

#加載線性模型演算法庫
from sklearn import linear_model
# 創建線性回歸模型的物件
regr = linear_model.LinearRegression()
# 利用訓練集訓練線性模型
regr.fit(X_train, y_train)
# 使用測試集做預測
y_pred = regr.predict(X_test)

2、嶺回歸

上述的線性回歸演算法使用最小二乘法優化各個繫數,對於嶺回歸來說,嶺回歸通過對繫數進行懲罰(L2範式)來解決普通最小二乘法的一些問題,例如,當特征之間完全共線性(有解)或者說特征之間高度相關,這個時候適合用嶺回歸。

#加載線性模型演算法庫
from sklearn.linear_model import Ridge
# 創建嶺回歸模型的物件
reg = Ridge(alpha=.5)
# 利用訓練集訓練嶺回歸模型
reg.fit([[00], [00], [11]], [0.11]) 
#輸出各個繫數
reg.coef_
reg.intercept_ 

3、Lasso回歸

Lasso是一個估計稀疏稀疏的線性模型。它在某些情況下很有用,由於它傾向於選擇引數值較少的解,有效地減少了給定解所依賴的變數的數量。Lasso模型在最小二乘法的基礎上加入L1範式作為懲罰項。

#加載Lasso模型演算法庫
from sklearn.linear_model import Lasso
# 創建Lasso回歸模型的物件
reg = Lasso(alpha=0.1)
# 利用訓練集訓練Lasso回歸模型
reg.fit([[00], [11]], [01])
"""
Lasso(alpha=0.1, copy_X=True, fit_intercept=True, max_iter=1000,
   normalize=False, positive=False, precompute=False, random_state=None,
   selection='cyclic', tol=0.0001, warm_start=False)
"""

# 使用測試集做預測
reg.predict([[11]])

4、Elastic Net回歸

Elastic Net 是一個線性模型利用L1範式和L2範式共同作為懲罰項。這種組合既可以學習稀疏模型,同時可以保持嶺回歸的正則化屬性。

#加載ElasticNet模型演算法庫
from sklearn.linear_model import ElasticNet
#加載資料集
from sklearn.datasets import make_regression
X, y = make_regression(n_features=2, random_state=0)
#創建ElasticNet回歸模型的物件
regr = ElasticNet(random_state=0)
# 利用訓練集訓練ElasticNet回歸模型
regr.fit(X, y)
print(regr.coef_) 
print(regr.intercept_) 
print(regr.predict([[00]])) 

5、貝葉斯嶺回歸

貝葉斯嶺回歸模型和嶺回歸類似。貝葉斯嶺回歸通過最大化邊際對數似然來估計引數。

from sklearn.linear_model import BayesianRidge
X = [[0.0.], [1.1.], [2.2.], [3.3.]]
Y = [0.1.2.3.]
reg = BayesianRidge()
reg.fit(X, Y)

6、SGD回歸

上述的線性模型通過最小二乘法來優化損失函式,SGD回歸也是一種線性回歸,不同的是,它通過隨機梯度下降最小化正則化經驗損失。 

import numpy as np
from sklearn import linear_model
n_samples, n_features = 105
np.random.seed(0)
y = np.random.randn(n_samples)
X = np.random.randn(n_samples, n_features)
clf = linear_model.SGDRegressor(max_iter=1000, tol=1e-3)
clf.fit(X, y)
"""
SGDRegressor(alpha=0.0001, average=False, early_stopping=False,
       epsilon=0.1, eta0=0.01, fit_intercept=True, l1_ratio=0.15,
       learning_rate='invscaling', loss='squared_loss', max_iter=1000,
       n_iter=None, n_iter_no_change=5, penalty='l2', power_t=0.25,
       random_state=None, shuffle=True, tol=0.001, validation_fraction=0.1,
       verbose=0, warm_start=False)
"""

7、SVR

眾所周知,支持向量機在分類領域應用非常廣泛,支持向量機的分類方法可以被推廣到解決回歸問題,這個就稱為支持向量回歸。支持向量回歸演算法生成的模型同樣地只依賴訓練資料集中的一個子集(和支持向量分類演算法類似)。

#加載SVR模型演算法庫
from sklearn.svm import SVR
#訓練集
X = [[00], [22]]
y = [0.52.5]
#創建SVR回歸模型的物件
clf = SVR()
# 利用訓練集訓練SVR回歸模型
clf.fit(X, y) 
"""
SVR(C=1.0, cache_size=200, coef0=0.0, degree=3, epsilon=0.1,
    gamma='auto_deprecated', kernel='rbf', max_iter=-1, shrinking=True,
    tol=0.001, verbose=False)
"""

clf.predict([[11]])

8、KNN回歸

在資料標簽是連續變數而不是離散變數的情況下,可以使用KNN回歸。分配給查詢點的標簽是根據其最近鄰居標簽的平均值計算的。

X = [[0], [1], [2], [3]]
y = [0011]
from sklearn.neighbors import KNeighborsRegressor
neigh = KNeighborsRegressor(n_neighbors=2)
neigh.fit(X, y) 
print(neigh.predict([[1.5]]))

9、決策樹回歸

決策樹也可以應用於回歸問題,使用sklearn的DecisionTreeRegressor類。

from sklearn.tree import  DecisionTreeRegressor 
X = [[00], [22]]
y = [0.52.5]
clf = DecisionTreeRegressor()
clf = clf.fit(X, y)
clf.predict([[11]])

10、神經網絡

神經網絡使用slearn中MLPRegressor類實現了一個多層感知器(MLP),它使用在輸出層中沒有激活函式的反向傳播進行訓練,也可以將衡等函式視為激活函式。因此,它使用平方誤差作為損失函式,輸出是一組連續的值。

from sklearn.neural_network import MLPRegressor
mlp=MLPRegressor()
mlp.fit(X_train,y_train)
"""
MLPRegressor(activation='relu', alpha=0.0001, batch_size='auto', beta_1=0.9,
       beta_2=0.999, early_stopping=False, epsilon=1e-08,
       hidden_layer_sizes=(100,), learning_rate='constant',
       learning_rate_init=0.001, max_iter=200, momentum=0.9,
       n_iter_no_change=10, nesterovs_momentum=True, power_t=0.5,
       random_state=None, shuffle=True, solver='adam', tol=0.0001,
       validation_fraction=0.1, verbose=False, warm_start=False)
"""

y_pred = mlp.predict(X_test)

11.RandomForest回歸

RamdomForest回歸也是一種經典的集成演算法之一。

from sklearn.ensemble import RandomForestRegressor
from sklearn.datasets import make_regression
X, y = make_regression(n_features=4, n_informative=2,
                       random_state=0, shuffle=False)
regr = RandomForestRegressor(max_depth=2, random_state=0,
                             n_estimators=100)
regr.fit(X, y)
print(regr.feature_importances_)
print(regr.predict([[0000]]))

11、XGBoost回歸

XGBoost近些年在學術界取得的成果連連捷報,基本所有的機器學習比賽的冠軍方案都使用了XGBoost演算法,對於XGBoost的演算法接口有兩種,這裡我僅介紹XGBoost的sklearn接口。更多請參考: 

https://xgboost.readthedocs.io/en/latest/python/index.html

import xgboost as xgb
xgb_model = xgb.XGBRegressor(max_depth = 3,
                             learning_rate = 0.1,
                             n_estimators = 100,
                             objective = 'reg:linear',
                             n_jobs = -1)

xgb_model.fit(X_train, y_train,
              eval_set=[(X_train, y_train)], 
              eval_metric='logloss',
              verbose=100)
y_pred = xgb_model.predict(X_test)
print(mean_squared_error(y_test, y_pred))

12、LightGBM回歸

LightGBM作為另一個使用基於樹的學習演算法的梯度增強框架。在演算法競賽也是每逢必用的神器,且要想在競賽取得好成績,LightGBM是一個不可或缺的神器。相比於XGBoost,LightGBM有如下優點,訓練速度更快,效率更高效;低記憶體的使用量。對於LightGBM的演算法接口有兩種,這裡我同樣介紹LightGBM的sklearn接口。更多請參考:https://lightgbm.readthedocs.io/en/latest/

import lightgbm as lgb
gbm = lgb.LGBMRegressor(num_leaves=31,
                        learning_rate=0.05,
                        n_estimators=20)
gbm.fit(X_train, y_train,
        eval_set=[(X_train, y_train)], 
        eval_metric='logloss',
        verbose=100)
y_pred = gbm.predict(X_test)
print(mean_squared_error(y_test, y_pred))

回歸競賽問題以及解決方案

為了方便小伙伴們練習機器學習中的相關專案,這裡整理一些回歸競賽問題,幫助入門機器學習的小伙伴們更加深入的掌握機器學習中的回歸問題。

入門級比賽:

Kaggle——房價預測

這個比賽作為最基礎的回歸問題之一,很適合入門機器學習的小伙伴們。

網址:https://www.kaggle.com/c/house-prices-advanced-regression-techniques

經典解決方案: 

XGBoost解決方案: https://www.kaggle.com/dansbecker/xgboost

Lasso解決方案: https://www.kaggle.com/mymkyt/simple-lasso-public-score-0-12102

進階比賽:

Kaggle——銷售量預測

這個比賽作為經典的時間序列問題之一,標的是為了預測下個月每種產品和商店的總銷售額。

網址:https://www.kaggle.com/c/competitive-data-science-predict-future-sales

經典解決方案:

LightGBM: https://www.kaggle.com/sanket30/predicting-sales-using-lightgbm

XGBoost: https://www.kaggle.com/fabianaboldrin/eda-xgboost

第一名解決方案:https://www.kaggle.com/c/competitive-data-science-predict-future-sales/discussion/74835#latest-503740

TOP比賽方案:

Kaggle——餐廳訪客預測

網址:https://www.kaggle.com/c/recruit-restaurant-visitor-forecasting

解決方案:

1st 方案: https://www.kaggle.com/plantsgo/solution-public-0-471-private-0-505

7th 方案:https://www.kaggle.com/c/recruit-restaurant-visitor-forecasting/discussion/49259#latest-284437

8th 方案:https://github.com/MaxHalford/kaggle-recruit-restaurant

12th 方案:https://www.kaggle.com/c/recruit-restaurant-visitor-forecasting/discussion/49251#latest-282765

Kaggle——CorporaciónFavoritaGrocery銷售預測

網址:https://www.kaggle.com/c/favorita-grocery-sales-forecasting

解決方案:

1st 方案: https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47582#latest-360306

2st 方案:https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47568#latest-278474

3st 方案:https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47560#latest-302253

4st 方案:https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47529#latest-271077

5st方案:https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47556#latest-270515

6st方案:https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47575#latest-269568

    已同步到看一看
    赞(0)

    分享創造快樂