ChatGPT整體技術方案是基于 GPT-3.5 大規(guī)模語言模型通過人工反饋強化學習來微調(diào)模型，讓模型一方面學習人的指令，另一方面學習回答的好不好。

核心提升了什么？

ChatGPT在對話場景核心提升了以下三方面：

1）更好的理解用戶的提問，提升模型和人類意圖的一致性，同時具備連續(xù)多輪對話能力。

2）大幅提升結果的準確性，主要表現(xiàn)在回答的更加的全面，同時可以承認錯誤、發(fā)現(xiàn)無法回答的問題。

3）具備識別非法和偏見的機制，針對不合理提問提示并拒絕回答。

ChatGPT的提升主要涉及以下三方面技術：

1）性能強大的預訓練語言模型GPT3.5，使得模型具備了博學的基礎。

2）webGPT等工作驗證了監(jiān)督學習信號可大幅提升模型準確性。

3）InstructGPT等工作引入強化學習驗證了對齊模型和用戶意圖的能力。

整體技術流程

ChatGPT的訓練過程分為微調(diào)GPT3.5模型、訓練回報模型、強化學習來增強微調(diào)模型三步：

第一步：微調(diào)GPT3.5模型。讓GPT 3.5在對話場景初步具備理解人類的的意圖，從用戶的prompt集合中采樣，人工標注prompt對應的答案，然后將標注好的prompt和對應的答案去Fine-tune GPT3.5，經(jīng)過微調(diào)的模型具備了一定理解人類意圖的能力。

第二步：訓練回報模型。第一步微調(diào)的模型顯然不夠好，至少他不知道自己答的好不好，這一步通過人工標注數(shù)據(jù)訓練一個回報模型，讓回報模型來幫助評估回答的好不好。具體做法是采樣用戶提交的prompt，先通過第一步微調(diào)的模型生成n個不同的答案，比如A、B、C、D。接下來人工對A、B、C、D按照相關性、有害性等標準標準并進行綜合打分。有了這個人工標準數(shù)據(jù)，采取pair-wise 損失函數(shù)來訓練回報模型RM。這一步實現(xiàn)了模型判別答案的好壞。

第三步：強化學習來增強微調(diào)模型。使用第一步微調(diào)GPT3.5模型初始化PPO模型，采樣一批和前面用戶提交prompt不同的集合，使用PPO模型生成答案，使用第二步回報模型對答案打分。通過產(chǎn)生的策略梯度去更新PPO模型。這一步利用強化學習來鼓勵PPO模型生成更符合RM模型判別高質(zhì)量的答案。

通過第二和第三步的迭代訓練并相互促進，使得PPO模型能力越來越強。

主要涉及的技術細節(jié)

1） GPT3.5理解能力提升

ChatGPT是在GPT3.5模型技術上進行微調(diào)的，這里對GPT-3.5在GPT3基礎上做的工作進行梳理，官方列舉了以下GPT-3.5系列幾個型號：

code-davinci-002 是一個基礎模型,對于純代碼補全任務。這也是ChatGPT具備超強代碼生成能力的原因。

text-davinci-002 是在code-davinci-002基礎上訓練的InstructGPT模型，訓練策略是instructGPT+FeedRM。

text-davinci-003 是基于text-davinci-002模型的增強版本，訓練策略是instructGPT+PPO。

根據(jù)如下圖官方發(fā)布的模型時間線和文檔，我們可以了解到ChatGPT是在text-davinci-003 基礎上微調(diào)而來，這也是ChatGPT模型性能如此強大的核心要素。因為GPT-3.5系列模型是在2021年第四季度之前的文本和代碼樣本上訓練，所以我們體驗ChatGPT時候同樣無法回答訓練樣本日期之后的問題。

2） 監(jiān)督信號提升效果顯著

GPT3之前在預訓練+微調(diào)已經(jīng)是NLP任務中標準范式，GPT3模型的訓練是純自監(jiān)督學習并以API的形式發(fā)布，用戶不具備微調(diào)的能力，官方也是主打預訓練+提示學習的能力。Prompt方法本質(zhì)是挖掘語言模型本身具備的知識，恰當?shù)奶崾救ゼぐl(fā)語言模型的補全能力。監(jiān)督信號微調(diào)可以理解為改變了語言模型的理解能力，InstructGPT的工作可以理解為對GPT3-SFT做了數(shù)據(jù)增強提升，使得模型在理解人類指令方面更出色。但這并不影響監(jiān)督信號對最終效果的價值。

在InstructGPT的工作中，我們可以看到GPT3-SFT和InstructGPT在毒性、幻覺、理解客戶能力上，監(jiān)督學習微調(diào)已經(jīng)和強化學習對比有很大的競爭力，甚至在幻覺角度比基于強化學習的InstructGPT提升很明顯。

3） 人類反饋強化微調(diào)效果

ChatGPT通過人類反饋強化學習（RLHF）來讓模型理解人類的指令。人類反饋強化學習（RLHF）是DeepMind早期提出的，使用少量的人類反饋來解決現(xiàn)代RL任務。RLHF的思想在很多工作中都有體現(xiàn)，例如OpenAI的webGPT、DeepMind中Sparrow等都通過人類的反饋進一步提升大模型的效果。

RLHF整個訓練過程如下圖所示：

目標是實現(xiàn)后空翻的任務，智能體Agent在環(huán)境中隨機行動，每隔一段時間，兩個行為的視頻片段給一個人，人判斷兩個視頻哪個更接近目標。通過人的反饋數(shù)據(jù)，學習一個最能解釋人類判斷的獎勵模型Reward Model，然后使用RL來學習如何實現(xiàn)目標。隨著人類繼續(xù)提供模型無法判斷時候的反饋，實現(xiàn)了進一步完善它對目標的理解。智能體Agent從人類反饋中學習最終在許多環(huán)境中有時甚至是超過人類的表現(xiàn)。

行動驅(qū)動的大語言模型

盡管學術界一直無法真正定義AGI，今年大型語言模型（LLM）的表現(xiàn)讓我們對通用人工智能有了期待，通過OpenAI的ChatGPT、Google的PaLM、DeepMind的Sparrow取得的成功，人工智能的未來應該是行動驅(qū)動的，一個行動驅(qū)動的LLM看起來很像AGI，如下圖所示:

模型的行為就像一個智能體Agent選擇行動。在中間，我們有開箱即用的基礎模型LLM。用戶通過Prompt詢問模型結果。

左邊是外部可利用的資源，這些可以是任何將文本作為輸入并提供文本作為輸出的函數(shù)，包括搜索、數(shù)據(jù)庫、代碼解釋器和與人聊天等，它可以增強模型的能力。

右邊是我們有任務導向的訓練，如instruction tuning、RLHF等。instruction tuning相對好實現(xiàn)，RLHF需要調(diào)整PPO算法相對較難。整體上RL利用使用日志等專有數(shù)據(jù)，通過創(chuàng)建強大的反饋回路，訓練模型使其更加符合任務需求并迭代優(yōu)化。