在挑戰(zhàn)寫語文作文之后，艾現(xiàn)在盯上了高考英語。

結(jié)果，好家伙，今年高考英語卷我考了134分。

這不是偶然的。

2018—2021年的10套真題測(cè)試中，AI的分?jǐn)?shù)都在125以上，最高紀(jì)錄138.5，聽力和閱讀理解也是滿分。

這是由學(xué)者秦提出的，用于高考英語測(cè)試的人工智能系統(tǒng)。

它的參數(shù)只有GPT—3的十六分之一，但它的平均分比GPT—3高15分。

具體來說，就是對(duì)維基百科，YouTube等平臺(tái)的信息進(jìn)行重新提取和重構(gòu)，然后喂給AI進(jìn)行訓(xùn)練，從而使AI具有更強(qiáng)的泛化能力。

兩位學(xué)者用100多頁的論文深入解釋了這一新范式。

那么，這個(gè)范式到底在說什么呢。

來深挖一下吧~

什么是重構(gòu)前培訓(xùn)。

論文題目很簡(jiǎn)單，叫《重構(gòu)的預(yù)訓(xùn)》。

核心觀點(diǎn)一言以蔽之，簡(jiǎn)明扼要。注意數(shù)據(jù)！

筆者認(rèn)為，世界上有價(jià)值的信息無處不在，目前的AI系統(tǒng)并沒有充分利用數(shù)據(jù)中的信息。

比如維基百科和Github就包含了模型學(xué)習(xí)的各種信號(hào):實(shí)體，關(guān)系，文本摘要，文本主題等由于技術(shù)瓶頸，以前沒有考慮過這些信號(hào)

因此，本文提出了一種利用神經(jīng)網(wǎng)絡(luò)來存儲(chǔ)和訪問各種數(shù)據(jù)的方法。

它們以結(jié)構(gòu)化的方式用信號(hào)來表示數(shù)據(jù)，這和數(shù)據(jù)科學(xué)中非常相似，我們經(jīng)常把數(shù)據(jù)構(gòu)造成表格或者JSON格式，然后通過一種特殊的語言來檢索所需的信息。

具體來說，這里的信號(hào)其實(shí)是指數(shù)據(jù)中的有用信息。

比如莫扎特出生在薩爾茨堡這句話里，莫扎特和薩爾茨堡就是信號(hào)。

接下來利用提示法，可以把這些來自不同地方的信號(hào)統(tǒng)一成一種形式。

最后，這些重組的數(shù)據(jù)被集成并存儲(chǔ)在語言模型中。

這樣，研究可以統(tǒng)一來自10個(gè)數(shù)據(jù)源的26種不同類型的信號(hào)，使模型具有很強(qiáng)的泛化能力。

結(jié)果表明，在許多數(shù)據(jù)集上，RST—T和RST—A零樣本學(xué)習(xí)的性能優(yōu)于GPT—3。

為了進(jìn)一步檢驗(yàn)新方法的性能，筆者還想到了讓AI做高考題的方法。

他們表示，現(xiàn)在很多工作方法都遵循中國(guó)GPT—3的思路，在評(píng)測(cè)應(yīng)用場(chǎng)景上也遵循OpenAI和DeepMind。

比如膠水評(píng)測(cè)基準(zhǔn)，蛋白質(zhì)折疊評(píng)分等。

基于對(duì)目前AI模式發(fā)展的觀察，筆者認(rèn)為可以開辟一條新的賽道來嘗試，于是想到了利用高考來培養(yǎng)AI手。

他們找來前幾年共10套試卷做標(biāo)記，請(qǐng)高中老師打分。

最后，開發(fā)了英語的人工智能模型，也可以稱為秦。

從測(cè)試結(jié)果可以看出，秦絕對(duì)是一個(gè)學(xué)習(xí)高手，10套卷子的成績(jī)都高于T0pp和3。

他們覺得現(xiàn)在的很多評(píng)測(cè)基準(zhǔn)的任務(wù)都很單一，大部分都沒有實(shí)用價(jià)值，很難和人的狀況相比。

高考題目不僅涵蓋了各種知識(shí)點(diǎn)，還直接有人類的分?jǐn)?shù)進(jìn)行對(duì)比，可謂一舉兩得。

NLP的第五范式。

P1。非神經(jīng)網(wǎng)絡(luò)時(shí)代的完全監(jiān)督學(xué)習(xí)

P2?；谏窠?jīng)網(wǎng)絡(luò)的全監(jiān)督學(xué)習(xí)

P3。預(yù)培訓(xùn)，微調(diào)范例

P4。預(yù)訓(xùn)練，提示和預(yù)測(cè)范例

但基于目前對(duì)NLP發(fā)展的觀察，他們認(rèn)為也許未來可以用以數(shù)據(jù)為中心的方式來看待問題。

即預(yù)訓(xùn)/微調(diào)，少射/零射等概念的分化。會(huì)比較模糊，核心只會(huì)集中在一點(diǎn)上——

有多少有價(jià)值的信息，有多少可以利用。

此外，他們還提出了NLP進(jìn)化的假說。

核心思想是技術(shù)發(fā)展的方向永遠(yuǎn)遵循這個(gè)——做得更少，實(shí)現(xiàn)更好更通用的系統(tǒng)。

復(fù)旦大學(xué)校友樓

本論文的第一部分是袁。

她畢業(yè)于武漢大學(xué)，獲學(xué)士學(xué)位，后赴卡內(nèi)基梅隆大學(xué)學(xué)習(xí)數(shù)據(jù)科學(xué)。

研究方向側(cè)重于自然語言處理任務(wù)的文本生成和評(píng)測(cè)。

去年，她分別收到了AAAI 2022和NeurIPS 2021的論文，還獲得了ACL 2021最佳演示論文獎(jiǎng)。

2019年獲復(fù)旦大學(xué)計(jì)算機(jī)系博士學(xué)位，師從邱希鵬教授和黃教授。

他的興趣包括NLP模型的可解釋性，遷移學(xué)習(xí)，基于任務(wù)的學(xué)習(xí)等。

博士期間拿了計(jì)算機(jī)領(lǐng)域的各種獎(jiǎng)學(xué)金，包括IBM博士獎(jiǎng)學(xué)金，微軟獎(jiǎng)學(xué)金，騰訊人工智能獎(jiǎng)學(xué)金，百度獎(jiǎng)學(xué)金。

還有一點(diǎn)

值得一提的是，當(dāng)劉鵬飛向我們介紹這部作品時(shí)，他直言不諱地說，起初，我們并不打算提交它。

這是因?yàn)樗麄儾幌Ｍ麜?huì)議論文的格式限制了構(gòu)思論文的想象力。

我們決定把這篇論文作為一個(gè)故事來講，給讀者一種觀影的體驗(yàn)。

這就是為什么我們?cè)诘谌撛O(shè)置了觀看模式的全景。

就是帶大家了解NLP發(fā)展的歷史，以及我們對(duì)未來的期待，讓每一個(gè)研究者都有一定的代入感，感受通過礦山尋寶引領(lǐng)前期訓(xùn)練語言模型走向美好明天的過程。

文末藏了一些驚喜彩蛋。

比如PLMs主題表情:

最后的插圖是:

所以，一篇100多頁的論文你不會(huì)看膩~

論文地址: