先說(shuō)程序員有多快。第一個(gè)開(kāi)源的ChatGPT項(xiàng)目已經(jīng)出現(xiàn)了！

基于谷歌語(yǔ)言模型的PaLM架構(gòu)和從人類反饋中加強(qiáng)學(xué)習(xí)的方法，中國(guó)弟弟Phillip Wang復(fù)制了一個(gè)ChatGPT。

項(xiàng)目GitHub star已經(jīng)超過(guò)1.7k，而且還在飆升。

可是，一反常態(tài)，網(wǎng)友們看到開(kāi)源ChatGPT并沒(méi)有搶，反而都提出了問(wèn)題:

這......有人能跑。

開(kāi)源，但不完全開(kāi)放。

項(xiàng)目的核心內(nèi)容是在PaLM架構(gòu)上實(shí)現(xiàn)基于人類反饋的強(qiáng)化學(xué)習(xí)。

其中PaLM是谷歌在今年4月發(fā)布的5400億參數(shù)全能機(jī)型基于通路系統(tǒng)的訓(xùn)練，伯特之父雅各布·德夫林是主要貢獻(xiàn)者之一

PaLM可以完成寫(xiě)代碼，聊天，語(yǔ)言理解等任務(wù)，在大多數(shù)任務(wù)中實(shí)現(xiàn)了小樣本的SOTA學(xué)習(xí)性能

另一個(gè)核心點(diǎn)是RLHF的來(lái)自人類反饋的強(qiáng)化學(xué)習(xí)。

OpenAI在提出InstructGPT的時(shí)候就使用了這種方法，可以讓AI的回答更加符合情境要求，減少危害性。

它分為三個(gè)步驟:

第一步是找一些人寫(xiě)下示范答案，以微調(diào)GPT—3模型并訓(xùn)練監(jiān)督模型基線。

第二步，收集一個(gè)問(wèn)題的幾組不同的輸出數(shù)據(jù)，由人類對(duì)幾組答案進(jìn)行排序，在這個(gè)數(shù)據(jù)集上訓(xùn)練獎(jiǎng)勵(lì)模型。

再次，采用RM作為獎(jiǎng)勵(lì)函數(shù)，近端策略優(yōu)化算法對(duì)GPT—3策略進(jìn)行微調(diào)，加強(qiáng)學(xué)習(xí)方法，使獎(jiǎng)勵(lì)最大化。

ChatGPT使用的GPT—3.5，其中text—davinci—002是在code—davinci—002的基礎(chǔ)上使用InstructGPT訓(xùn)練方法改進(jìn)的。

大致有三個(gè)步驟:

我們先訓(xùn)練一下PaLM，就像其他自回歸變壓器一樣。

第二...

等等，練掌你確定這不是開(kāi)玩笑嗎

現(xiàn)在我明白為什么大家都覺(jué)得這個(gè)開(kāi)源項(xiàng)目根本跑不起來(lái)了...

打個(gè)不恰當(dāng)?shù)谋确剑@就好比你想吃熊肉，你得先自己給熊頭上。

項(xiàng)目里只有PaLM架構(gòu)和代碼，沒(méi)有預(yù)訓(xùn)練的權(quán)重。

所以完成第一步后，大概效果是...

說(shuō)到這里，繼續(xù)往下看...

然后，用強(qiáng)化學(xué)習(xí)對(duì)之前訓(xùn)練好的模型和獎(jiǎng)勵(lì)模型進(jìn)行微調(diào)。

經(jīng)過(guò)這三步，你就可以得到一個(gè)開(kāi)源版本的ChatGPT了。

中間的問(wèn)題包括巨大的計(jì)算量，龐大的模型和難以收集的文本...所以有些人不禁要問(wèn):

沒(méi)有可能，也沒(méi)用。

不過(guò)，也有網(wǎng)友認(rèn)為這本質(zhì)上是好事。

AI的一個(gè)關(guān)鍵區(qū)別是，每一次重大突破，都會(huì)很快出現(xiàn)一個(gè)開(kāi)源版本。

而LAION也推出了類似的項(xiàng)目Open Assistant，將通過(guò)眾籌腦力聯(lián)合開(kāi)發(fā)一款開(kāi)源聊天AI。

穩(wěn)定擴(kuò)散使用的開(kāi)放數(shù)據(jù)集就是這個(gè)組織做的。

感興趣的童鞋不妨試試~

PaLM—rlhf—pytorch主頁(yè):

打開(kāi)助手主頁(yè):

參考鏈接: