來源｜TalkRL

【資料圖】

OneFlow編譯 翻譯｜楊婷、徐佳渝、賈川

除了OpenAI，外界可能很少有人知道ChatGPT模型成功的真正原因，實際上，OpenAI也會對ChatGPT擁有的巨大影響力感到不可思議。這種困惑和驚喜就像工程師們解bug時獲得的意外成功：We don"t know why, but it works.

一種普遍的看法是，ChatGPT沒有任何革命性技術，正如Meta 首席AI科學家Yann LeCun所說，“只是一些巧妙的技術組合而已”。當然，聽到這話的圍觀群眾不免調侃LeCun這種同行評議是“吃不到葡萄說葡萄酸”，不過，從ChatGPT的締造者們后續(xù)的表態(tài)來看，恐怕也不會否認他的“酸話”。

早在2022年1月，OpenAI發(fā)布了另一款GPT-3.5微調版本InstructGPT，這是ChatGPT的“兄弟模型”，如果用標準基準來評估它們的原始技術能力，兩個模型之間并沒有實質性不同。根據(jù)OpenAI科學家們的說法，ChatGPT用的微調方法稍有不同，并且添加了一些對話數(shù)據(jù)，這讓ChatGPT更易上手和易用，由此產(chǎn)生了很大的正面影響。

新增的對話數(shù)據(jù)固然重要，不過，讓ChatGPT更容易推斷出用戶的意圖，產(chǎn)生質變的根本原因是已在InstructGPT使用的“人類反饋的強化學習（RLHF）”技術，OpenAI聯(lián)合創(chuàng)始人、研究科學家John Schulman認為，RLHF才是ChatGPT的秘密武器（secret sauce）。

簡單來說，強化學習是讓研究者像訓練狗一樣訓練AI智能體，并為其做出的正確響應提供獎勵，而RLHF的基本思路是，教會大型語言模型學習人類用戶真正喜歡的回答偏好來進一步調整模型的響應。

RLHF技術背后的其中一個作者正是John Schulman，很多人不知道的是，他也是ChatGPT項目的主要負責人。

作為強化學習大牛，John在這一領域作出過許多重大貢獻，例如發(fā)明了TRPO算法（信賴域策略優(yōu)化，Trust Region Policy Optimization）、GAE（廣義優(yōu)勢估計，Generalized Advantage Estimation）以及TRPO的后代近端策略優(yōu)化（ Proximal Policy Optimization），也稱PPO算法。值得一提的是，其博士導師是強化學習領域的開拓者Pieter Abbeel，并且也在OpenAI創(chuàng)立初期工作過一段時間。

在ChatGPT發(fā)布前一個月，John Schulman在Robin Ranjit Singh Chauhan主持的TalkRL播客節(jié)目中，詳細介紹了RLHF想法的產(chǎn)生源頭，InstructGPT以WebGPT的主要思想，并闡述了AI對齊以及對AGI實現(xiàn)的看法。從中，我們也可以看到ChatGPT技術演進的脈絡和不曾在論文中被描述的細節(jié)，以及OpenAI團隊的下一步研究方向。

（以下內容經(jīng)授權后由OneFlow編譯發(fā)布，譯文轉載請聯(lián)系OneFlow獲得授權。來源：https://www.talkrl.com/episodes/john-schulman）

1

為什么要關注RLHF

Robin Chauhan：作為深度強化學習的早期開拓者之一，你為什么去關注“人類反饋的強化學習（RLHF）”？

John Schulman：GPT-3訓練完成后，它的智能程度讓我十分吃驚。我意識到AI領域的下一個前沿在于真正發(fā)揮語言模型的作用。我仍然對RL非常感興趣，但解決RL基準測試并不是我們的最終目的。

要使用RL算法，必須通過獎勵函數(shù)，但是獎勵函數(shù)從何而來？在RL基準測試中，我們可以自己編寫獎勵函數(shù)，但這種方法必須要在模擬環(huán)境（simulator environment）中才行得通。所以在現(xiàn)實世界用例中，我們必須要人工監(jiān)督AI的行為，以分辨好壞。所以如何定義獎勵是一件極具挑戰(zhàn)性且至關重要的問題，尤其是在任務評估難度逐漸加深的情況下。

另一方面，雖然現(xiàn)在語言模型非常聰明，但卻難以將它們用在有價值的事情上。因為它們不會按照我們的意愿去工作，只是在單純地模仿訓練語料庫，但這也說明只要給語言模型一個正確的目標，它們就很有可能改進上述問題，也就是說，我們可以在語言模型中應用強化學習，使用人類反饋去定義獎勵。

Robin Chauhan：相比合成獎勵（synthetic reward），人工反饋是否更難，或者說這兩者之間在一定程度上大有不同？

John Schulman：使用人工反饋會遇到很多新問題?，F(xiàn)在，我們必須要動態(tài)收集數(shù)據(jù)集，所以要花很多時間去建立人類偏好的數(shù)據(jù)集，相比各種算法細節(jié)，數(shù)據(jù)集的質量更加重要。另外我們還要考慮如何將任務分配給人工訓練師等問題，如果有程序化的獎勵函數(shù)，這些問題我們本不用考慮。

Robin Chauhan：人工評分員之間的差異或獎勵信號的噪音是否會造成問題？

John Schulman：實際上，噪音并不是我最擔心的問題，比較而言，我更擔心人們的慣有偏見。例如，在問題回答或模型編寫文本等設置中，人們通常更偏向于較長的答案，這會導致模型給出的答案日漸冗長。所以我們要注意指導人工評分員，讓他們獎勵簡潔的答案，如果對這一問題不加注意，可能會激勵模型的錯誤行為。

2

用RLHF實現(xiàn)指令跟隨模型InstructGPT

Robin Chauhan：2022年3月，你與Long Ouyang、Jeff Wu等人發(fā)表了論文《Training language models to follow instructions with human feedback》，你能簡要介紹下InstructGPT的主要思想嗎？

John Schulman：InstructGPT是一種經(jīng)過微調以遵循指令的語言模型。OpenAI的官網(wǎng)上有一個大文本框，在文本框中輸入內容后點擊提交就可以完成一個指令。語言模型非常有用，只需輸入提示詞就可以使其來完成自己想做的事情。

比如你可以先在文本框中輸入問答示例，然后你提出另外一個問題，InstructGPT就可以相同的方式予以回答，人們可以讓語言模型通過提示來做一些很棒的事情。但“提示”本身也是一門藝術，很難做到準確無誤，模型也不一定能完美識別提示的內涵。如果你只是采用原始模型與之對話，那么你得到的答案可能就有點不盡如人意了。

通過InstructGPT，我們發(fā)現(xiàn)要對語言模型進行一些小的改動，就可以使它們更容易使用。具體來說，我們要對它們進行訓練，以便當你的一段文本包含指令時，模型可以盡力按照指令進行操作。幾乎任何東西都可以作為指令。例如，指令可以是繼續(xù)聊天，對這段文本進行總結，或者是提供一份銷售某個小部件公司的名單。

這就是指令跟隨模型（instruction following model），可以執(zhí)行任何你給定的指令。不過我并不是這項工作的核心貢獻者，我主要參與了強化學習基礎設施和完成強化學習的訓練細節(jié)。

在這個項目中我們所做的就是：在指令跟隨設置中運行了RLHF中的整套方法論。所以我們進行了有監(jiān)督微調（supervised fine tuning），收集偏好數(shù)據(jù)，訓練了一個獎勵模型（reward model），然后根據(jù)該獎勵模型進行了強化學習。

在訓練之初，我們使用的數(shù)據(jù)是由外包商收集的。但后來我們有了API和官網(wǎng)上的Playground（一個大文本框，可以在其中使用模型），我們就使用在Playground中收集到的指令來進行訓練（用戶在使用之時就會收到提示：你的指令可能會用于訓練）。這樣既可以收集偏好數(shù)據(jù)，又可以進行強化學習。同時需要注意：訓練時不能存儲prompt中的任何信息。我們有一套相當復雜的流程來確保沒有私人信息泄露到模型中。

結果表明，這種方法非常有效。原始的語言模型通常很難按照指令執(zhí)行。但是，通過強化學習訓練后的指令跟隨模型要好得多。如果僅從改進程度來看，那么幾乎能媲美比這大100倍的模型。這是相當大的一個進步。

Robin Chauhan：看來你想要得到可信任的模型，這是你的標準之一嗎？

John Schulman：對于一個大型語言模型來說，真實性是重要標準之一。但是，這個模型是如何通過示例學習真實性的？難道真實性在模型內部被表示了嗎？因為模型沒有外部參考來確認某些東西是真實的還是虛假的，那么它如何知道什么是真實的？

某種程度上，模型內部是有真實性表示的。我們可以將語言模型看作是對整個互聯(lián)網(wǎng)的模仿，而互聯(lián)網(wǎng)是由許多不同的人編寫的，包含各種類型的內容，從小說到非小說，到技術文獻、笑話以及論壇帖子等。因此，該模型實際上是由所有這些編寫內容的人組成的“合奏團”。

當我們輸入一個prompt時，模型在內部必須要做的就是確定prompt是由誰編寫的，并試圖以該風格繼續(xù)生成文本。比如，如果它認為正在閱讀的內容是華爾街交易論壇上的東西，那么就繼續(xù)以這種風格生成文本。但是如果它認為正在閱讀紐約時報的內容，它又會以不同的方式寫作。

因此，模型必須在某個地方進行計算，例如計算當前的風格是什么，或者正在模仿哪種較為小眾的風格集合。至少，在進行監(jiān)督微調或完全基于人類反饋的訓練時，我們可以縮小模型生成的文本風格范圍，嘗試模仿訓練集中最好的人或最好的風格。

當然，“最好”會有很大的差異，最終得到的內容將取決于我們的指令。如果我們要求模型生成內容時不要太過于有爭議，又要“企業(yè)化（corporate）”一點，那么生成的內容也就是這樣。因此，我們至少可以將模型限定到一個特定的風格，而不是互聯(lián)網(wǎng)上所有的風格。

但我認為，這里面可能還有更多的內容。模型不僅僅是在學習文本風格，模型內部可能還在試圖確定一些語句是否正確。當然，我上面所說的是關于原始預訓練模型。我認為“預測下一個token”的目標會為我們提供很多信息，這將迫使模型確定語句是否正確。

對于強化學習微調而言，我認為還會賦予模型更多的潛力去生成可信任的東西，而不是僅僅模仿某種風格，但現(xiàn)在還很難確定模型是否在這樣做。現(xiàn)在還是prompt在引導著模型去獲取互聯(lián)網(wǎng)上那些我們想要的東西，模仿我們想模仿的內容。而我們想使InstructGPT更多地關注互聯(lián)網(wǎng)上那些更可信任的東西。

3

語言模型的泛化能力

Robin Chauhan：無論如何，我們應該模仿出互聯(lián)網(wǎng)上最真實的一面。你能否談一下泛化，以及這種模型在分布外（out of distribution）的表現(xiàn)如何？

John Schulman：總的來說，語言模型整體上具有驚人的泛化能力。我認為，像這些在互聯(lián)網(wǎng)上受過多元化數(shù)據(jù)訓練的預訓練模型，它們通常泛化得相當好。至少對于那些在機器學習早期就接觸過這些技術的人來說，這很令人驚訝。例如，即使是用其他語言，甚至是一種相對罕見的語言提供指令，模型通常也能夠很好地遵循，即使整個訓練過程中沒有任何數(shù)據(jù)是用該語言編寫的指令。這就是從預訓練中延續(xù)下來的能力。

這實際是一個關于獎勵模型的問題，舉個例子：如果問題有點不同于它所接受的訓練，比如在獎勵模型的訓練數(shù)據(jù)中稍微偏離一點，那么會發(fā)生什么呢？

我認為，RLHF的一個棘手問題是：對獎勵模型進行訓練時，也就是在訓練policy以獲得高獎勵，意味著這會利用獎勵模型中的錯誤。它最終會找到針對獎勵模型的對抗示例，但這比正常的分布外行為（out of distribution behavior）更糟糕。因此，在將獎勵模型盡可能地泛化到訓練集之外確實存在一些挑戰(zhàn)。

當這些類型的Agent遇到某些難題時會提醒它不知道嗎？我認為，如果你問一個模型知識核心的問題，它會知道答案，而且它也知道自己知道答案（這里指的是Instruct類的模型）。但如果你問它關于其知識邊緣的問題，那可能回答起來會有困難，必然會出現(xiàn)不準確的情況。有幾篇論文還討論過這個問題，比如Anthropic發(fā)表的Language Models, mostly know what they know，OpenAI發(fā)表的Teaching Models to Express Their Uncertainty in Words。這些語言模型以及機器學習中許多其他模型都是為了最大化可能性而進行訓練的。

鑒于已經(jīng)訓練過Agent始終預測輸出的分布（distribution of outputs），因此，對于語言模型，只要給定前綴，它就會預測下一個token的分布，而且通常預測的相當準確。如果它在預測某項任務有80%的概率，而且每次都是80%，那么它的正確率就為80%。

這只是訓練目標的結果。訓練目標鼓勵對模型進行校準，這是因為模型校準可以提高不確定性估計的準確性。

因此，對于單個token級別，模型肯定經(jīng)過校準。問題是，模型校準是否準確？校準后的模型是否能應用于多個token輸出的情境中？又或是它們是否可以判斷多個token語句的正確性？

因為模型通過單個token級別進行校準，所以我認為它們在不同環(huán)境中需要校準的信息確實不同。這就是我認為模型不難準確表達出校準信息的原因，或者至少讓模型像人一樣很好地表達不確定信息，這個問題也并非無法解決，但在實踐中，需要解決一些實際的困難。

4

AI對齊工作進入第二階段

Robin Chauhan：人們對于“AI對齊（ AI alignment）”有不同的理解方式，你如何看待RLHF方面的對齊工作？

John Schulman：在我看來，AI對齊的主要目標是讓模型通過訓練知道人類的意圖，并在執(zhí)行任務時做出符合人類期望的行為。因此，我們需要分辨模型的能力。例如，當我們給一個原始語言模型提出一個問題時，它可能并不知道我們希望它給出一個完美的答案。相反，它可能會假設我們只是希望得到一個符合語法和語義規(guī)則的回答。

Robin Chauhan：OpenAI的一篇博客討論了對齊序列（sequence in alignment），一共包括三個階段：第一階段是使用人類反饋訓練AI系統(tǒng)，第二階段是訓練AI系統(tǒng)協(xié)助人類反饋，第三階段是訓練AI系統(tǒng)進行對齊研究。所以你目前的工作主要是使用人類反饋訓練AI系統(tǒng)，那何時以及如何才能進入其他階段？

John Schulman：我現(xiàn)在正在做第二階段的工作，即訓練AI系統(tǒng)以協(xié)助人類反饋。當我們開始嘗試讓系統(tǒng)解決更具挑戰(zhàn)性的問題時，第二階段的工作就變得越來越重要。當模型的性能遠低于人類水平或在某些任務上達到人類水平時，監(jiān)督它們非常容易。但是，當模型處理的任務非常困難，需要大量不同的技術知識時，就很難提供有效的監(jiān)督信號。

為了解決這個問題，我們可以采取一些措施，比如利用兩個模型：針對某個問題，一個模型給出相應的答案，然后另一個模型對該答案提出批評意見，指出不足之處。這樣，人們在看完批評意見后，就只需要判斷答案是否正確，批評有助于人類更準確地評估答案。這一想法十分重要，我和同事們正在探索。此外，OpenAI也正在做一些工作來協(xié)助對齊研究，不過完成這項工作任重而道遠。

Robin Chauhan：Stuart Russell是OpenAI博士委員會的成員之一，我非常喜歡他的《人類兼容性（Human Compatible）》一書。他指出，標準強化學習框架通常是基于固定獎勵信號的，而這種框架存在一定的問題。針對該問題，我們需要培養(yǎng)強大的Agent，使其嘗試做我們想做的事情，同時對我們的意圖保持一種懷疑態(tài)度，因為確定的Agent會存在一定問題。你如何看待這一觀點？

John Schulman：我完全贊同Stuart Russell的觀點。首先，編寫一個簡單的獎勵函數(shù)來捕捉我們的意圖是非常困難的。我們希望Agent能夠理解我們的意圖，并以最好的方式來實現(xiàn)這些意圖，而不是盲目地追求某些極端的結果。

在構建Agent時，我們應該確保它們保持一種懷疑態(tài)度，以便更好地理解我們的意圖和目標。這也可以幫助Agent更加謹慎地采取行動，以確保它們在實現(xiàn)目標的同時也考慮到其他重要的因素。

Stuart Russell提出了一個很好的問題定義，即讓AI與人類共同玩一個游戲，該游戲的目標是讓AI嘗試理解人類的意圖，并采取行動嘗試滿足這一意圖，同時保持一定的懷疑態(tài)度。

我認為，如果我們開始思考如何將Russell所描述的目標應用到實踐中，就會發(fā)現(xiàn)實際上這與OpenAI以及其他組織正在進行的RLHF研究非常相似。我們正在努力實現(xiàn)這一目標。

5

WebGPT的想法從何而來

Robin Chauhan：2021年，你和Nakano等人共同發(fā)表論文《WebGPT：基于人類反饋的瀏覽器輔助問答》，能解釋下WebGPT主要想解決的問題嗎？

John Schulman：在WebGPT中，我們將語言模型與網(wǎng)絡瀏覽器相連，以便從網(wǎng)絡中檢索信息。這些語言模型可以通過總結網(wǎng)絡上的相關信息來寫答案，這樣一來，如果你對時事熱點提問，或者詢問一些需要詳細科學或技術知識的問題，AI就可以在網(wǎng)絡上查找答案，并詳細引用其來源。

在文中，我們主要探討了兩個問題。首先，我們曾試圖將語言模型變成一種Agent，人們在網(wǎng)絡上編寫了很多不同類型的文本數(shù)據(jù)，但關于如何實際執(zhí)行多步驟過程的數(shù)據(jù)卻很少，因此，我們不確定語言模型是否可以實際執(zhí)行某些迭代過程，我們有很多數(shù)據(jù)，但這些數(shù)據(jù)基本上都和寫論文、聊天等相關，這是我們在論文中探討的第一個問題。

對于這個問題，我認為答案是肯定的。在這種情況下，我們可以讓Agent使用我們提供的工具，比如說搜索、滾動、單擊鏈接等瀏覽命令。

其次，我們還探討了信息的真實性問題，這是語言模型面臨的一大難題。雖然語言模型掌握著海量知識，但如果我們向模型中輸入錯誤的提示，它們可能會輸出很多似是而非的廢話。在語言模型領域，如何解決這一問題很值得研究，問題的解決與否也關系著語言模型的發(fā)展。

這個問題很有挑戰(zhàn)性，最重要的是，我們要讓模型檢索、編寫帶有引用的答案，同時要確保引用來源的可信度。這樣人們就不必再花時間去尋找模型答案的來源，他們可以直接點擊引用鏈接，查看模型答案是否可信。

在WebGPT中，我們試圖弄清楚如果我們確實給語言模型提供了靈活的Web界面，它能否在引用的幫助下如實回答問題，搞清楚這一點非常重要。人們搜索的問題五花八門，這些問題可能與科學、歷史、時事等相關，人工評分員不一定具備這些問題的相關知識，但他們需要判斷細節(jié)信息，如果沒有引用，這就會成為一件難事。所以，在一定程度上，我們證明了在引用的幫助下可以在艱深領域內獲得良好反饋。

Robin Chauhan：WebGPT的想法從何而來？是深思熟慮之后的結果，還是在論文發(fā)表前突然冒出來的？結果怎么樣？

John Schulman：這個想法其實由來已久。很久以前，我們在OpenAI有一個叫作World of Bits的項目（譯者注：OpenAI Universe項目的前身）。在那時，我們想要控制Web瀏覽器來執(zhí)行涉及互聯(lián)網(wǎng)的任務，不過當時還為時過早，所以這個想法擱置了幾年。

我們嘗試過完整的視覺輸入，那時的想法是給Agent輸入類似“找出大樓地址”等指示，然后Agent會通過Web、谷歌地圖等方法尋找答案，當時我們試圖以像素的方式來完成這一切，但顯然這種方式并不好，現(xiàn)在我們可以用大型語言模型來處理這些文本信息。

我們可以從網(wǎng)頁中提取文本以獲取大部分信息，但暫時還不能與動態(tài)網(wǎng)站進行真正地交互，因為這些網(wǎng)站中有大量JavaScript和圖片等內容，除了這些內容之外，我們可以很順暢地瀏覽和閱讀文本。因為我們的模型足夠好，所以重新考慮將互聯(lián)網(wǎng)作為環(huán)境來使用。

另一個動機是，在開始使用GPT-3進行嘗試之后，我們注意到它在事實準確性和提供的信息可靠性方面存在問題。因此，我們又開始研究如何使語言模型更具真實性。我們先進行了頭腦風暴，最終決定嘗試使用網(wǎng)絡進行問答，查找網(wǎng)絡上的知識來協(xié)助回答問題。

該項目的原始版本實際上使用了一些常見的問答數(shù)據(jù)集，例如Trivia QA（其中包含一些基本的常識問題）。我們在該數(shù)據(jù)集上進行了一些嘗試，試圖通過給模型提供網(wǎng)絡搜索來提高模型的準確性。工作開展得很順利，所以我們又轉向了長篇問答，使該項目的工作更進一步。

Robin Ranjit：看起來WebGPT想讓語言模型能訪問外部知識。問題是，你認為哪些東西是語言模型可以知道或者允許搜索到的？哪些東西又不能讓語言模型訪問？這之間有明確的界限嗎？

John Schulman：有人提倡使用只包含語言的小型模型，我認為這種立場有點極端；還有人建議允許使語言模型知道一切東西，但不能授權其獲得外部知識的途徑。我認為，很難將知識、事實性知識與理解區(qū)分開來。人類記不住所有東西，但在需要用到某項知識時，我們可以去查詢。

對于特定領域的工作者來說，進行事實內化是很有用的，這樣可以在需要用時快速調用，并在腦海中將其進行組合。

所以這兩種說法我都不贊同，我認為，檢索至少對當前事務很有用，而且我們也沒想過要使神經(jīng)網(wǎng)絡涵蓋人類所有的知識。

另一方面，人類很幸運，已經(jīng)擴大了模型。隨著吸收的事實知識越來越多，模型在推理和其他事情上也會做得越來越好。截止目前，我還沒有看到任何微型模型可以做大量檢索并保存所有權重以進行推理。

6

行為克隆、獎勵模型、強化學習和拒絕采樣

Robin Chauhan：在這個項目中，你好像使用了多個不同的數(shù)據(jù)集和不同的訓練方法，包括行為克?。╞ehavior cloning）、獎勵模型（reward modeling）、強化學習（reinforcement learning）和拒絕采樣（rejection sampling）。

John Schulman：我們使用的是一種相當標準的方法，該方法實際上是從以前的RLHF工作中改編而來的。具體流程是，首先使用監(jiān)督學習來訓練一個模型，在這個過程中，人類演示者展示如何完成任務，例如如何從觀察映射到動作。這個過程就是所謂的監(jiān)督學習或者行為克隆。

接下來，我們就會訓練一個獎勵模型或偏好模型。它會比較兩個動作或兩條軌跡，然后決定哪一個更好。在問答的情境下，我們會比較兩個答案并判斷哪一個更好。我們使用這個模型來訓練一個獎勵模型，該模型會給回答打分，回答的好，分就高，反之則低。

然后我們根據(jù)這個獎勵函數(shù)進行強化學習。當然，在進行少量的強化學習之后，你可以迭代執(zhí)行最后兩個步驟。如此一來，就可以利用獎勵模型中的一些缺陷或噪聲。如果新數(shù)據(jù)分布不準確，就需要重新收集更多的樣本對，并重新擬合這個偏好模型。然后再進行一輪強化學習。這就是完整的RLHF的流水線。

另外還有一個叫做拒絕采樣或者最優(yōu)端采樣（best of end sampling）的想法。一般來說，你也可以進行其他類型的搜索。當有了獎勵模型后，你可以對一堆樣本進行重新排序，并選擇最好的做法。

Robin Chauhan：這有點像MPC（Model Predictive Control，模型預測控制）?

John Schulman：是的。這取決于我們所處的環(huán)境以及所做的事情。如果處于交互式環(huán)境中，就必須模擬環(huán)境動態(tài)，這一點和MPC很像。在我們的案例中，唯一需要學習的模型是人類偏好。比如在問答環(huán)境中，我們可以輕易地對一堆操作（actions）進行采樣，其中每個操作都是一個完整的答案，并且可以將它們重新排名或搜索答案。

Robin Chauhan：就動作空間（action space）而言，它是否只是命令列表？還是說它仍然像常規(guī)生成模型一樣生成tokens？

John Schulman：我們正在生成tokens。在我們的RL任務中，每一回合都有兩個階段。首先是瀏覽階段，模型會搜索、點擊并引用相關信息。比如模型在網(wǎng)頁上看到了有用的信息，就會使用quote命令對信息進行引用。

瀏覽完成后，模型會發(fā)出結束瀏覽的命令，這都會用token來表示。但是，我們將這個過程整合到了大的RL任務中，一個大的回合（episode）包含了瀏覽網(wǎng)頁和給出答案兩個階段。

Robin Chauhan：這種方法的效果如何？

John Schulman：最開始我們不知道它是否會成功。在我們用Trivia QA做了最初的實驗后，很快就開始運行了，很明顯瀏覽部分起了作用，另外如果給模型一些可以引用的文本片段，它們就可以生成優(yōu)質的長文本。

7

為什么不能使用外部反饋

Robin Chauhan：人工評分員的任務非常復雜，有很長的評分指南和多種類型的反饋。但是論文最后表示只有最終評級才有用。我想知道為什么模型不能使用外部反饋，是因為外部反饋太多了還是因為樣本不夠？

John Schulman：是的，這一發(fā)現(xiàn)確實讓人沮喪。在對比一組答案時，評分員的每次對比都要經(jīng)歷一個很長的過程，但是我們只會用到整個過程中的小部分信息，而這一小部分信息的對比時間可能長達半小時左右。

如果我們能提取出更多信息，了解更多他們得出答案的過程，那么可能會更好一點。所以我們收集了各種其他信息，比如不同維度給出的評分、連貫性和事實準確性等。

因此，我覺得應該還能做得更好。但不幸的是，這種看似有點愚蠢的方法其實很難超越。人們已經(jīng)嘗試了各種辦法，比如以人類反饋來代替偏好分數(shù)。此外還有其他的事情可以做，比如可以讓模型進行批判性寫作或編輯回答。

Robin Ranjit：是的，我認為其中一些事情也有可能實現(xiàn)，而且這種收集偏好數(shù)據(jù)的方法很有效。

John Schulman：是的，我認為這仍然是一個開放的研究領域。

Robin Ranjit：再談談那些冗長的指令吧。

John Schulman：在完成任何任務時，都需要遵循許多微妙的規(guī)則和細節(jié)。因此，在編寫指南時，我們不斷添加了更多細節(jié)，比如你在這種情況下會做什么？在另一種情況下又會怎么做？然而，隨著細節(jié)的不斷增加，這些指令變得非常冗長。

不過，這個問題還是有辦法解決。DeepMind發(fā)表了相關文章，使用Sparrow將任務分解成更小的部分并進行訓練，人們一次只關注一個部分，以便更好地理解和掌握每個部分的細節(jié)和規(guī)則。此外，研究者還訓練了多個規(guī)則，特定的獎勵模型，以更好地捕捉任務的不同方面和細節(jié)，并在最后進行合并。

8

強化學習與AGI的未來

Robin Chauhan：自從你發(fā)布TRPO和PPO算法以來，強化學習領域取得了哪些重要的進展？

John Schulman：在PPO算法之后，出現(xiàn)了基于價值的TD3和SAC算法，這些算法都表現(xiàn)出了相當高的可靠性。MuZero和Efficient Zero是有效的強化學習算法，Efficient Zero的樣本效率表現(xiàn)令人印象深刻，它能夠在使用更少樣本的情況下達到很好的效果。這些算法可能在一些簡單的任務（toy task）或基準測試中表現(xiàn)較好，也開始被應用到一些實際問題中，這是非常有意思的。

近來，離線強化學習（offline RL）備受關注。我認為，RLHF就是一種離線強化學習。因為在訓練過程中，它使用的是預先收集的數(shù)據(jù)集和獎勵模型數(shù)據(jù)集，而無需實時與環(huán)境進行交互。

Robin Chauhan：RLHF和傳統(tǒng)的離線強化學習算法確實有些相似，但是其方法和技術有所不同。傳統(tǒng)的離線強化學習算法通常使用Off-policy算法，而基于RLHF算法通常使用On-policy算法和一種獎勵模型。這些差異是否影響了正在執(zhí)行的任務？

John Schulman：我們正在做一項類似基于模型的強化學習（model-based RL）的任務，而獎勵模型就是對系統(tǒng)的未知部分的建模。我們需要考慮到人類因素的影響，而不是僅僅關注機器的輸出結果。

這項任務也類似于使用環(huán)境的動力學模型（dynamics model of the environment），并運行一些策略評估算法（policy grading algorithm）來評估模型的效果。雖然對抗機器學習模型的在線算法已經(jīng)是一種成熟的想法，但之前的研究所處的情境與現(xiàn)在已經(jīng)大不同?，F(xiàn)在我們可以利用訓練好的預訓練模型，只需進行一些小幅度的策略更新即可實現(xiàn)目標，而不必進行大規(guī)模的模型更改。因此，我們采用了這些在線算法，這也與我們一直在研究上下文賭博機（contextual bandit）的問題有關。

由于只有一個時間步，例如，收到一個查詢并輸出一個響應，然后該響應會獲得獎勵。因此，在多步驟（multi-step）過程中，不能立即獲得獎勵分配。對話就是一個例子，其中涉及到多個步驟，不能在每個步驟中對其進行獎勵分配。相反，必須在對話結束后才能分配獎勵。

另外，當模型與一些難以模擬的真實世界系統(tǒng)進行交互時，不能完全使用相同的方法來解決問題。為了提高方法的采樣效率，可能需要采用一些略有不同的方法。例如，可以訓練一個Q函數(shù)或類似的函數(shù)來解決問題。

我們即將開始探索上述問題。然而，到目前為止，在我所關注的領域中，尚未發(fā)現(xiàn)需要采用該方法的情況。但據(jù)我估計，這種方法在未來會變得十分重要。

Robin Chauhan：AGI、RL及大型語言模型之間的關系是什么？它們又是如何相互配合的？

John Schulman：強化學習（RL）是訓練人工通用智能（AGI）關鍵方法之一，它可以用來優(yōu)化Agent的行為，以達到某種目標。在強化學習中，任何目標通常被視為Agent行為函數(shù)的一部分。與語言模型預訓練類似，強化學習也需要選擇一個目標并利用大量的訓練數(shù)據(jù)（如互聯(lián)網(wǎng)文本）來優(yōu)化Agent的行為。

此外，我們會選擇最大似然目標函數(shù)（maximum likelihood objective）來作為Agent的訓練目標，雖然還有其他的目標函數(shù)可供選擇，但最大似然目標函數(shù)是明智之選。如果真的想通過優(yōu)化Agent行為以達到特定目標，那么強化學習是最適合的框架。

Robin Chauhan：AGI是一種抽象目標嗎？還是說我們有望在某一天看到AGI模型問世？模型問世之時，人們會驚嘆，“這是首個AGI模型”。那么，人們對該模型的評價又會如何？

John Schulman：我認為當AGI真正問世的時候，經(jīng)過多次試用，人們會意識到它并非完全符合我們的預期。雖然我們可能會看到很多模型在某些領域或某類任務上超越人類，但它們仍然存在一些失效模式和弱點。例如，可能會出現(xiàn)多個自稱AGI的模型，但只有在與其交互一段時間后，人們才會發(fā)現(xiàn)它們無法完全達到AGI的水平。

Robin Chauhan：據(jù)你估計，AGI還有多久問世？

John Schulman：距AGI的問世不會太遙遠，不過過程中肯定會出現(xiàn)許多誤判。預計在未來的五年時間里，AI能夠在大多數(shù)人類目前從事的工作上表現(xiàn)得比人類更好。當然，并非所有工作都會被AI取代，人類仍然會在某些領域享有控制權。因此，在未來的10到15年中，我們會見證AI逐步推進的整個過程。

相關參考鏈接

1. https://www-technologyreview-com.cdn.ampproject.org/c/s/www.technologyreview.com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/amp/

2. WebGPT: https://arxiv.org/abs/2112.09332

3. InstructGPT：https://arxiv.org/abs/2203.02155

4. Our approach to alignment research, OpenAI 2022

5.?Training Verifiers to Solve Math Word Problems, Cobbe et al 2021

6. UC Berkeley Deep RL Bootcamp Lecture 6: Nuts and Bolts of Deep RL Experimentation, John Schulman 2017

7. Proximal Policy Optimization Algorithms, Schulman 2017

8. Optimizing Expectations: From Deep Reinforcement Learning to Stochastic Computation Graphs, Schulman 2016

其他人都在看

GPT-3/ChatGPT復現(xiàn)的經(jīng)驗教訓

超越ChatGPT：大模型的智能極限

Jasper狂飆：AIGC現(xiàn)象級應用的增長秘笈

適配PyTorch FX，OneFlow讓量化感知更簡單

比快更快，開源Stable Diffusion刷新作圖速度

OneEmbedding:單卡訓練TB級推薦模型不是夢

GLM訓練加速：性能最高提升3倍，顯存節(jié)省1/3

歡迎Star、試用OneFlow新版本：GitHub - Oneflow-Inc/oneflow: OneFlow is a deep learning framework designed to be user-friendly, scalable and efficient.OneFlow is a deep learning framework designed to be user-friendly, scalable and efficient. - GitHub - Oneflow-Inc/oneflow: OneFlow is a deep learning framework designed to be user-friendly, scalable and efficient.https://github.com/Oneflow-Inc/oneflow/

關鍵詞：