做AI數(shù)學(xué)題成績又被刷新了！

眾所周知，借助谷歌思維鏈的概念，AI已經(jīng)能夠像人類一樣在做題時(shí)生成解題步驟。

這次來自DeepMind的科學(xué)家提出了一個(gè)實(shí)際問題:如何保證解題步驟和答案的雙重準(zhǔn)確性。

因此，他們?cè)贕SM8K數(shù)據(jù)集上綜合比較了基于過程和基于結(jié)果的監(jiān)測方法，并結(jié)合其優(yōu)勢訓(xùn)練出一個(gè)最優(yōu)模型。

結(jié)果表明，新模型的錯(cuò)誤率從16.8%降低到12.7%，求解步驟的錯(cuò)誤率也從14.0%降低到3.4%。

步驟+回答雙重保障

在介紹新的研究之前，不得不提Google在今年1月提出的思維鏈概念。

簡單來說，思維鏈提示是一種特殊的情境學(xué)習(xí)與標(biāo)準(zhǔn)提示只給出輸入輸出對(duì)的例子不同，思維鏈提示會(huì)增加一個(gè)額外的推理過程

該方法已在LaMDA—137B，GPT—3 175B和PaLM—540B三個(gè)大型語言模型中得到驗(yàn)證與標(biāo)準(zhǔn)提示相比，新方法在一系列算術(shù)推理任務(wù)中的準(zhǔn)確率有了明顯提高

可是，這種方法的一個(gè)問題是，在某些情況下，AI可以生成正確的答案，但推理過程是錯(cuò)誤的。

現(xiàn)在，來自DeepMind的研究人員對(duì)這一點(diǎn)進(jìn)行了改進(jìn):他們不僅關(guān)注最終結(jié)果，還關(guān)注推理過程的準(zhǔn)確性。

為此，他們首次對(duì)自然語言處理任務(wù)中基于過程和結(jié)果的方法進(jìn)行了綜合比較。

具體包括以下不同場景:小樣本提示，有監(jiān)督的微調(diào)，通過專家迭代的強(qiáng)化學(xué)習(xí)，重排序和強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)模型。

之所以選擇GSM8K數(shù)據(jù)集，是因?yàn)樗尚W(xué)數(shù)學(xué)應(yīng)用題組成，答案都是整數(shù)解，便于精確統(tǒng)計(jì)，

第二，GSM8K數(shù)據(jù)集有離線監(jiān)督推理步驟和在線人工標(biāo)注。

從結(jié)果來看，第一，基于過程的方法和基于結(jié)果的方法，最終答案的錯(cuò)誤率幾乎相同這也意味著，單靠結(jié)果監(jiān)督，就足以做到答案的低錯(cuò)誤率

其次，推理步驟準(zhǔn)確性的提高需要過程監(jiān)督或模仿其獎(jiǎng)勵(lì)模型雖然最終答案錯(cuò)誤率差不多，但從下圖可以看出，結(jié)果監(jiān)督的推理錯(cuò)誤率明顯高于過程監(jiān)督

此外，研究人員還結(jié)合了兩者的優(yōu)點(diǎn)，訓(xùn)練出了一個(gè)最優(yōu)模型，即將監(jiān)督學(xué)習(xí)和基于獎(jiǎng)勵(lì)模型的強(qiáng)化學(xué)習(xí)相結(jié)合。

新模型的錯(cuò)誤回答率從之前最好的水平16.8%降低到12.7%，回答正確但推理過程錯(cuò)誤的情況也從14.0%降低到3.4%。

當(dāng)模型被允許回避30%的問題時(shí)，最終答案的錯(cuò)誤率甚至可以達(dá)到2.7%。

研究團(tuán)隊(duì)

這篇論文的研究團(tuán)隊(duì)來自DeepMind，共有三位合著者:Jonathan Uesato，Nate Kushman和Ramana Kumar。

紙質(zhì)鏈接: