還在擔心如何為優化器調整更好的參數嗎。

現在Google Brain又出了一個新的優化器VeLO，可以直接使用，不需要手動調整任何超級參數。

與其他人工設計的算法不同，VeLO完全基于AI，可以適應各種任務。

有網友看到了優化器進步的曙光:

亞當之后出現了很多優化師，但都失敗了這個優化器可能確實表現得更好

那么，這個基于人工智能的優化器是如何構建的呢。

VeLO到底是怎么建成的。

在訓練神經網絡的過程中，優化器是必不可少的一部分。

但是AI模型應用廣泛，用來訓練AI模型的優化器還是手工設計，聽起來有些不合理。

所以谷歌大腦的研究人員靈機一動:為什么不用AI做優化器。

在設計上，optimizer的原理是基于元學習的思想，即從相關任務中學習經驗來幫助學習目標任務。

與遷移學習相比，元學習強調獲取元知識，元知識是一種關于任務的一般性知識，可以推廣到更多的任務。

基于這一思路，VeLO還會吸收漸變，自動輸出參數更新，無需任何超參數調諧，適應各種需要優化的任務。

在架構上，人工智能優化器由LSTM和超級網絡MLP組成。

每個LSTM負責設置多個MLP的參數，每個LSTM通過全局上下文信息相互協作。

在訓練中，AI優化器采用元訓練，以參數值和梯度為輸入，輸出需要更新的參數。

經過4000個月的TPU訓練，結合各種優化任務的長處，VeLO終于誕生了。

效果優于手動調優優化器。

結果表明，VeLO對83個任務的加速效果超過了現有的一系列優化器。

y軸是加速度與Adam的比值，x軸是任務的比例。

結果表明，VeLO不僅優于不需要調整超參數的優化器，甚至優于一些仔細調整超參數的優化器:

與經典老大哥亞當相比，VeLO在所有任務上的訓練速度都更快，其中超過50%的訓練速度比調整自己學習速度4倍以上的亞當更快，超過14%的任務學習速度甚至快16倍。

在六種學習任務的優化效果上，VeLO在五種任務上的績效效果與Adam相當甚至更好:

值得一提的是，VeLO這次也部署在JAX看來谷歌真的推廣了這個新框架

巴特，有網友認為訓練VeLO需要4000 TPU月，計算成本太高:

雖然這個進步很重要，但它甚至可以趕上GPT—3的訓練量。

目前VeLO是開源的，有興趣的朋友可以試試這個新的AI優化器。

還有一點

前段時間，哈佛的一個博士生提出了一個有趣的想法，得到了很多人的贊同:

Kareem Carr是生物統計學的博士生，他的貢獻在生物論文中很常見，之前在AI論文中不多。

不知道以后會不會成為機器學習圈的新趨勢。

GitHub地址:

論文地址:

參考鏈接: