GPT會是AI算法模型的終極答案嗎？

CHATGPT在全球AI產業、技術領域帶來的良好示范效應，有望推動AI算法模型結束當前的技術路線分叉，并不斷向以GPT為主導的大語言模型靠攏，加速全球AI產業“工業化”時代到來。中期維度，大語言模型領域“暴力美學”預計仍將是我們不斷逼近通用人工智能的最可能路線，基于此基準假設，模型算法架構將遵從漸進的學術研究步伐，高質量數據集、工程實踐能力、核心人才、資本將成為大模型研發領域的核心競爭壁壘。而面對當前GPT等大語言模型在問答可靠性、推理能力等層面缺陷，復雜問題分解、鏈接外部知識amp;工具等增強語言模型(ALM)方式將是可行的方式，比如ChatGPT插件等。作為中期最具確定性的產業方向之一，我們持續看好全球AI領域的投資機會，并建議持續聚焦芯片、算力設施、模型架構amp;工程實踐、應用場景等核心環節。

▍報告緣起:

ChatGPT在全球市場的成功，以及由此引致的全球主要科技企業在AI領域的軍備競賽，正在加速全球AI產業的發展速度。AI算法模型作為產業的核心環節，其本身的技術路線，將直接決定AI產業鏈最終形態，以及各產業環節的分工協作方式、價值分配結構等，對AI算法模型技術路線的系統分析、前瞻性判斷，是構建AI產業中期投資邏輯的核心基礎。在本篇專題中，我們主要回答:AI算法模型是否會朝GPT方向進行收斂、算法模型核心競爭壁壘、算力是否會成為AI產業潛在約束因素，以及如何引入新的知識amp;工具，以克服當前大語言模型的潛在缺陷等。

▍技術路線:大語言模型有望實現主導，并不斷向GPT方案靠攏。

在過去近10年里，人工智能模型經歷了從小模型到以Transformer為代表的大模型的轉變，我們根據行業發展的歷史總結為以下四個階段。

1)2017年前，以深度學習為核心的小模型占據主流:這類模型以LSTM及CNN模型作為典型的特征抽取器，根據特定領域標注數據訓練，在一些任務上可以達到接近人類的水準。但是硬件算力不夠導致針對其他領域重新訓練成本過高，讓其通用型任務的完成情況很差。

2)2017年到2020年，以谷歌Bert為代表的雙向預訓練+Fine Tuning(微調)的Transformer模型橫空出世成為了人工智能的主流方向。谷歌團隊人員發表的《Attention is all you need》論文開創了Transformer模型，重新統一了自然語言模型(NLP)的研究范式。這類模型以預訓練的方式學習語言學特征，大幅簡化了過去NLP繁瑣的研究種類。Transformer作為特征提取器效果好于CNN、LSTM模型等，讓AI首次能在語言任務的部分場景中追平人類。

3)2020年到2022年，產業界與學術界繼續沿著Transformer的道路前景，但開始嘗試不同于Bert的其他Transformer架構，通過預訓練無監督學習的方法不斷增加模型大小成為了這一時段的主流。以1750億參數的GPT-3為代表，各大互聯網巨頭不斷嘗試增加模型體積以獲得更好的效果。GPT-3為代表的自回歸+Prompting的方法開始展現產品化能力的優越性，與Fine-tuning方法的Bert模型成為兩條道路。

4)2022年至今，ChatGPT的成功證明了GPT模型的Prompting道路的正確性，同時也強調了數據質量的重要性。ChatGPT最重要的成功是在產品化上更進一步:ChatGPT在模型精度上并沒有飛躍性的突破，但從Few Shot prompt(需要輸入范例示范)轉換到Instruct(用人類語言描述想做什么)更加貼合用戶的習慣。

▍競爭壁壘:數據、工程實踐、人才、資本等。

回顧過去近十年人工智能模型的發展，我們發現進入人工智能模型研發的門檻越來越高。從Bert開始到GPT-3再到谷歌的PALM，網絡中的公開語言數據源已經在被盡可能地利用，而模型的進一步優化對數據質量的要求也越來越高。

我們認為優質的私有數據源將在未來3-5年里人工智能模型的精度優化上發揮更重要的作用。爬蟲難以爬取的社交媒體數據、保存在后臺的用戶偏好數據、代碼托管數據等仍具有開發空間，這也將成為數據獲取端的優勢，而結合這些私有數據生成的合成數據將進一步放大這些公司數據端的優勢。

此外隨著模型體量仍然在成倍數增加，大量的前期資本投入是阻礙新入者的重要因素。在過去五年內，我們看到人工智能模型的獨角獸都在尋找互聯網科技大廠作為其背后的依靠，主要因為1)能夠得到充足而短時間內不求產出的資金支持，2)依靠互聯網大廠的公有云等相關資源進一步降低成，本3)獲取互聯網大廠長期以來所積累的優質數據源。這也是我們看到為什么在過去五年內人工智能頭部廠商逐漸從開源走向閉源，利用其資源優勢來打造差異化的AI模型，而落后者更希望通過開源的模式以求縮小與頭部廠商的距離。

研發團隊的工程能力是決定公司在大語言模型競爭力的另一個重要因素。隨著語言模型的體積不斷增加，在研究方法上現今千億量級的模型與之前幾十億量級的小模型發生了本質變化，個體工程師沒有能力通過自有資源積累對大模型的學習經驗。一個合格的大模型研發團隊需要依靠大公司的資源支持才能積累對模型調試、優化、實際部署等各個環節足夠的經驗。優秀的工程人才稀缺以及培養難度讓沒有經驗的新公司進入更為困難，如何招募到一個大模型領域經驗豐富的專家并在其影響力的基礎上招募來自于大公司的有一定工程經驗的團隊將成為新入公司的核心問題。

▍算力成本:單位成本持續保持快速下降趨勢。

根據我們之前系列報告的測算，盡管人工智能模型的總研發投入持續在提高，但主要原因來自于模型體積的倍數式增長，而人工智能模型的單位成本保持下降趨勢。

在推理端以相同模型為例，在2020年根據Stanford講師Mourri的測算，訓練GPT-3的成本約為460萬美元。而至2022年底，根據我們的重新測算訓練同樣的GPT-3模型在兩年后成本僅需要150萬美元，成本下降了66%以上。在模型推理端以ChatGPT為例，根據我們在2022年底的測算，ChatGPT生成一次回答的成本約在1-2美分之間。而從3月2日OpenAI對ChatGPT API的定價出，0.2美分每1000tokens的定價對應為百億參數級別的模型。結合ChatGPT在訓練過程中所使用得Reward Model應為千億參數級別的模型，這也意味著OpenAI將其在千億參數模型中所學習到的能力通過類似于蒸餾(distillation)的方式濃縮進了百億參數的模型中，快速降低了成本消耗。根據目前用戶在社交媒體的反饋結果看，這個百億參數模型的能力以及追平甚至超越了先前的大尺寸模型。

▍未來展望:通過插件等擴展大語言模型能力邊界。

目前小公司雖然沒有能力研發底層的大語言模型，但其可以通過微調的形式服務垂直領域的需求。我們認為OpenAI三月份在ChatGPT中推出的插件接口是為了接入小公司的微調成果的一次嘗試:第三方廠商將可以自有的數據源及部分算法作為ChatGPT之上的插件，ChatGPT可以調用插件中的外部API接口來獲得信息。插件提供者使用 OpenAPI 標準編寫 API ，然后這個API會被編譯成一個prompt向 ChatGPT 解釋如何使用 API 來增強其答案。當用戶選擇對應插件后，如果 ChatGPT 認為應該從 API 獲取信息，它將發出請求并在嘗試回應之前將信息添加到上下文中。通過插件接口這一模式簡化了小公司對大語言模型微調的難度，并豐富了基于大語言模型之上的環境生態。同時通過復雜問題分解、鏈接外部知識amp;工具等增強語言模型方式，亦能有效解決現有大語言模型在問答可靠性、信息及時性等方面的固有缺陷。

▍風險因素:

AI核心技術發展不及預期風險；科技領域政策監管持續收緊風險；全球宏觀經濟復蘇不及預期風險；宏觀經濟波動導致歐美企業IT支出不及預期風險；AI潛在倫理、道德、用戶隱私風險；企業數據泄露、信息安全風險；行業競爭持續加劇風險等。

▍投資策略:

ChatGPT在全球AI產業、技術領域帶來的良好示范效應，有望推動AI算法模型結束當前的技術路線分叉，并不斷向以GPT為主導的大語言模型靠攏。中期維度，大語言模型+“暴力美學”預計仍將是我們不斷逼近通用人工智能的最可能路線。作為中期最具確定性的產業方向之一，我們持續看好全球AI領域的投資機會，并建議持續聚焦芯片、算力設施、模型架構amp;工程實踐、應用場景等核心環節。