歡迎光臨
每天分享高質量文章

簡述多種降維演算法

(點擊上方公號,快速關註我們)


來源:陳汝丹

chenrudan.github.io

最近看了一些關於降維演算法的東西,本文首先給出了七種演算法的一個信息表,歸納了關於每個演算法可以調節的(超)引數、演算法主要目的等等,然後介紹了降維的一些基本概念,包括降維是什麼、為什麼要降維、降維可以解決維數災難等,然後分析可以從什麼樣的角度來降維,接著整理了這些演算法的具體流程。主要目錄如下:

  • 1. 降維基本概念

  • 2. 從什麼角度出發降維

  • 3. 降維演算法

    • 3.1 主成分分析PCA

    • 3.2 多維縮放(MDS)

    • 3.3 線性判別分析(LDA)

    • 3.4 等度量映射(Isomap)

    • 3.5 區域性線性嵌入(LLE)

    • 3.6 t-SNE

    • 3.7 Deep Autoencoder Networks

  • 4. 小結


老規矩,先上一個各個演算法信息表,表示高維輸入矩陣大小是高維數D乘以樣本個數N,,表示降維輸出矩陣大小低維數d乘以N,,線性映射是,高維空間中兩兩之間的距離矩陣為A,Sw,Sb分別是LDA的類內散度矩陣和類間散度矩陣,k表示流形學習中一個點與k個點是鄰近關係,F表示高維空間中一個點由周圍幾個點的線性組合矩陣,−表示不確定。是高維空間中兩點距離占所有距離比重的概率矩陣,低維空間中兩點距離占所有距離比重的概率矩陣。表示全連接神經網絡的層數,表示每一層的節點個數。