，開源語言模型的進步是無可爭議的。但它們真的能與來自OpenAI、谷歌和其他公司的訓練有素的語言模型競爭嗎?

諸如之前所報道的，使用Alpaca Formula訓練的開源語言模型幾乎不需要怎么訓練以及很低的成本就能達到了類似于ChatGPT的水平。

Alpaca Formula指的是開發人員使用 ChatGPT 生成的訓練數據來微調Meta語言模型 LLaMA 。使用這些數據，LLaMA 模型可以在很短的時間內學習生成類似于 ChatGPT 的輸出，并且只需要很少的計算量。

但伯克利大學的研究人員在最近的一項研究中得出了不同的結論:他們將Alpaca Formula應用于LLaMA和 GPT-2的一些基礎模型，然后讓這些結果由人工評估并由GPT-4自動評估。

最初，他們得出了與之前的開發人員相同的結論:使用指令改進的模型的性能遠遠超過基礎模型，與 ChatGPT 相當。

然而，“更有針對性的自動評估”表明，模仿模型實際上只在他們看到模仿數據的任務中表現良好。在所有其他領域，與GPT-4仍然存在明顯的性能差距。因為這些基礎模型在廣泛的預訓練過程中獲得了大部分功能，而不是在微調過程中獲取的。

研究人員表示，這些所謂的評價的工作者經常在沒有專業知識的情況下在短時間內評估人工智能內容，很容易被忽悠。

OpenAI 研究員約翰舒爾曼最近也批評使用 ChatGPT數據微調開源基礎語言模型，稱如果微調數據集包含原始模型中不存在的知識，它們可能會產生更多不正確的內容。