第一個工作發表於 IEEE Transaction on Neural Networks and Learning Systems 2016，來自 Chong Zhang，Pin Lim，K. Qin 和 Kay Chen Tan 的文章 Multiobjective Deep Belief Networks Ensemble for Remaining Useful Life Estimation in Prognostics，本文為預估系統剩餘使用週期設計了多標的深度網路整合演演算法（Multiobjective Deep Belief Networks Ensemble，MODBNE）。

MODBNE 是一個整合學習模型，其以單個 DBN（Deep Belief Networks）模型的準確性和多樣性作為最佳化標的，使用 MOEA/D 演演算法對 DBN 模型進行最佳化，將最終獲得的一系列佔優的 DBN 模型用於整合學習模型。

其中，演化種群中的每一個個體代表一個 DBN 模型，其決策空間由 DBN 模型的隱藏神經元數量、神經網路中的權重以及推理過程中需要的學習率構成，這意味著每一個個體都代表著不同結構的 DBN 模型。

最後，透過以平均學習錯誤率為標的的單標的 DE 演演算法最佳化整合學習模型中各個模型的比重。

MODBNE 在 NASA 的 C-MAPSS 資料集上進行實驗，結果表明該演演算法明顯優於其他現有的演演算法。

第二個工作發表於 IEEE Transaction on Neural Networks and Learning Systems 2017，來自 Jia Liu，Maoguo Gong，Qiguang Miao，Xiaogang Wang 和 Hao Li 的文章 Structure Learning for Deep Neural Networks Based on Multiobjective Optimization，論文提出一種使用多標的最佳化演演算法最佳化深度神經網路的連線結構的方法。

首先，將多層神經網路看成多個單層的神經網路，逐層最佳化。在最佳化每一層的時候，以神經網路的表達能力（Representation Ability）和神經網路連線的稀疏性作為最佳化標的，使用 MOEA/D 演演算法進行最佳化。

其中，演化種群中的每一個個體代表單層神經網路的一種配置，神經網路的表達能力用觀測資料的 PoE（Products of Experts）評估，稀疏性由神經節點之間連線的個數表示。

透過用該演演算法最佳化單層神經網路、多層神經網路以及一些應用層面的神經網路進行測試，實驗驗證該方法可以大幅提升深度神經網路的效率。

發表在 ICML 2017，來自 Google Brain 的 Esteban Real，Sherry Moore，Andrew Selle，Saurabh Saxena，Yutaka Leon Suematsu，Quoc Le，Alex Kurakin 的文章 Large-Scale Evolution of Image Classifiers，提出了一種針對影象分類的 DNN 的分散式演化演演算法。

▲ 圖1：文章提出的分散式演化演演算法

演演算法的流程如圖 1 所示，該演演算法維護了一個 DNN 種群，種群中每一個個體都是一個已經訓練好的 DNN 模型，其適應度即為該模型在驗證集上的準確率。

大量的計算節點（worker）被用來對 DNN 種群進行演化。具體而言，所有的 worker 處在分散式環境下，共享儲存 DNN 種群的檔案系統，並以非同步的方式工作。

每一個當前空閑的 worker 都會從 DNN 種群中隨機選取兩個 DNN 模型，然後將較差的 DNN 直接從種群中刪除，並基於較好的 DNN 變異生成一個子代個體加入 DNN 種群。

整個過程中個體的編碼是圖，圖上每一個頂點表示一個三階張量（比如摺積層）或者一個啟用函式，每一條邊則表示恆等連線（identity connection）或者摺積。變異操作則包括重置權值，插入刪除神經層，插入刪除神經層之間的連線等等。

實驗中，種群規模被設定為 1000，並有 250 個 worker 參與，在 CIFAR-10 和 CIFAR-100 資料集上的實驗結果如圖 2 所示，相比於手工設計的 DNN，用此分散式演化演演算法得到的 DNN 能夠取得有競爭力的結果。

▲ 圖2：在CIFAR-10和CIFAR-100上的測試結果

更多論文推薦

最後，再附上 Github 上幾篇進化計算在 AutoML 上的應用論文。

■ 論文 | Autostacker: A Compositional Evolutionary Learning System

■ 連結 | https://www.paperweekly.site/papers/1980

■ 作者 | Boyuan Chen / Harvey Wu / Warren Mo / Ishanu Chattopadhyay / Hod Lipson

Abstract

We introduce an automatic machine learning (AutoML) modeling architecture called Autostacker, which combines an innovative hierarchical stacking architecture and an Evolutionary Algorithm (EA) to perform efficient parameter search. Neither prior domain knowledge about the data nor feature preprocessing is needed. Using EA, Autostacker quickly evolves candidate pipelines with high predictive accuracy. These pipelines can be used as is or as a starting point for human experts to build on. Autostacker finds innovative combinations and structures of machine learning models, rather than selecting a single model and optimizing its hyperparameters. Compared with other AutoML systems on fifteen datasets, Autostacker achieves state-of-art or competitive performance both in terms of test accuracy and time cost.

■ 論文 | Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning

■ 連結 | https://www.paperweekly.site/papers/1981

■ 原始碼 | https://github.com/uber-common/deep-neuroevolution

Abstract

Deep artificial neural networks (DNNs) are typically trained via gradient-based learning algorithms, namely backpropagation. Evolution strategies (ES) can rival backprop-based algorithms such as Q-learning and policy gradients on challenging deep reinforcement learning (RL) problems. However, ES can be considered a gradient-based algorithm because it performs stochastic gradient descent via an operation similar to a finite-difference approximation of the gradient. That raises the question of whether non-gradient-based evolutionary algorithms can work at DNN scales. Here we demonstrate they can: we evolve the weights of a DNN with a simple, gradient-free, population-based genetic algorithm (GA) and it performs well on hard deep RL problems, including Atari and humanoid locomotion. The Deep GA successfully evolves networks with over four million free parameters, the largest neural networks ever evolved with a traditional evolutionary algorithm. These results (1) expand our sense of the scale at which GAs can operate, (2) suggest intriguingly that in some cases following the gradient is not the best choice for optimizing performance, and (3) make immediately available the multitude of neuroevolution techniques that improve performance. We demonstrate the latter by showing that combining DNNs with novelty search, which encourages exploration on tasks with deceptive or sparse reward functions, can solve a high-dimensional problem on which reward-maximizing algorithms (e.g.\ DQN, A3C, ES, and the GA) fail. Additionally, the Deep GA is faster than ES, A3C, and DQN (it can train Atari in ∼4 hours on one desktop or ∼1 hour distributed on 720 cores), and enables a state-of-the-art, up to 10,000-fold compact encoding technique.