在利用 OpenAI 的 GPT-4 為 Bing Chat、 Bing Image Creator、Microsoft 365 Copilot、Azure OpenAI Service 和 GitHub Copilot X 引入了類(lèi)似 ChatGPT 的功能后。微軟現(xiàn)又宣布推出 DeepSpeed-Chat，一種用于 RLHF 訓(xùn)練的低成本開(kāi)源解決方案，基于微軟開(kāi)源的深度學(xué)習(xí)優(yōu)化庫(kù) DeepSpeed；聲稱(chēng)即使是使用單個(gè) GPU，任何人也都可以創(chuàng)建高質(zhì)量的 ChatGPT 式模型。

該公司表示，盡管開(kāi)源社區(qū)付出了巨大的努力，但目前仍缺乏一個(gè)支持端到端的基于人工反饋機(jī)制的強(qiáng)化學(xué)習(xí)（RLHF）的規(guī)模化系統(tǒng)，這使得訓(xùn)練強(qiáng)大的類(lèi) ChatGPT 模型十分困難。ChatGPT 模型的訓(xùn)練是基于 InstructGPT 論文中的 RLHF 方式，與常見(jiàn)的大語(yǔ)言模型的預(yù)訓(xùn)練和微調(diào)截然不同，使得現(xiàn)有深度學(xué)習(xí)系統(tǒng)在訓(xùn)練類(lèi) ChatGPT 模型時(shí)存在種種局限。因此，為了讓 ChatGPT 類(lèi)型的模型更容易被普通數(shù)據(jù)科學(xué)家和研究者使用，并使 RLHF 訓(xùn)練真正普及到 AI 社區(qū)，他們發(fā)布了 DeepSpeed-Chat。

DeepSpeed-Chat 具有以下三大核心功能：

簡(jiǎn)化 ChatGPT 類(lèi)型模型的訓(xùn)練和強(qiáng)化推理體驗(yàn)：只需一個(gè)腳本即可實(shí)現(xiàn)多個(gè)訓(xùn)練步驟，包括使用 Huggingface 預(yù)訓(xùn)練的模型、使用 DeepSpeed-RLHF 系統(tǒng)運(yùn)行 InstructGPT 訓(xùn)練的所有三個(gè)步驟、甚至生成你自己的類(lèi) ChatGPT 模型。此外，還提供了一個(gè)易于使用的推理 API，用于用戶(hù)在模型訓(xùn)練后測(cè)試對(duì)話(huà)式交互。

DeepSpeed-RLHF 模塊：DeepSpeed-RLHF 復(fù)刻了 InstructGPT 論文中的訓(xùn)練模式，并確保包括 a） 監(jiān)督微調(diào)（SFT），b） 獎(jiǎng)勵(lì)模型微調(diào)和 c） 基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)（RLHF）在內(nèi)的三個(gè)步驟與其一一對(duì)應(yīng)。此外，還提供了數(shù)據(jù)抽象和混合功能，以支持用戶(hù)使用多個(gè)不同來(lái)源的數(shù)據(jù)源進(jìn)行訓(xùn)練。

DeepSpeed-RLHF 系統(tǒng)：其將 DeepSpeed 的訓(xùn)練（training engine）和推理能力（inference engine） 整合到一個(gè)統(tǒng)一的混合引擎（DeepSpeed Hybrid Engine or DeepSpeed-HE）中用于 RLHF 訓(xùn)練。DeepSpeed-HE 能夠在 RLHF 中無(wú)縫地在推理和訓(xùn)練模式之間切換，使其能夠利用來(lái)自 DeepSpeed-Inference 的各種優(yōu)化，如張量并行計(jì)算和高性能 CUDA 算子進(jìn)行語(yǔ)言生成，同時(shí)對(duì)訓(xùn)練部分還能從 ZeRO- 和 LoRA-based 內(nèi)存優(yōu)化策略中受益。DeepSpeed-HE 還能夠自動(dòng)在 RLHF 的不同階段進(jìn)行智能的內(nèi)存管理和數(shù)據(jù)緩存。

文檔內(nèi)容指出，DeepSpeed Chat 與其他先進(jìn)方案相比的優(yōu)勢(shì)在于：效率和經(jīng)濟(jì)性方面比現(xiàn)有系統(tǒng)快 15 倍以上，在 Azure 云上只需 9 小時(shí)即可訓(xùn)練一個(gè) OPT-13B 模型，只需 18 小時(shí)既可訓(xùn)練 OPT-30B 模型，分別花費(fèi)不到 300 美元和 600 美元。

在速度和可擴(kuò)展性方面，即使是 13B 的模型也可以在 1.25 小時(shí)內(nèi)訓(xùn)練，龐大的 175B 模型可以在不到一天的時(shí)間內(nèi)使用 64 個(gè) GPU 集群進(jìn)行訓(xùn)練。在 RLHF 的可訪(fǎng)問(wèn)性和普及化方面，則可以在單個(gè) GPU 上訓(xùn)練超過(guò) 130 億參數(shù)的模型。此外還支持在相同的硬件上分別運(yùn)行 6.5B 和 50B 的模型，實(shí)現(xiàn)高達(dá) 7.5 倍的提升。

盡管近期關(guān)于對(duì) ChatGPT 類(lèi)大語(yǔ)言模型發(fā)展的反對(duì)和擔(dān)憂(yōu)之聲不斷，但微軟似乎仍在全力推進(jìn)其 AI 開(kāi)發(fā)。對(duì)于微軟的此次發(fā)布，前 Meta AI 專(zhuān)家 Elvis 也激動(dòng)地表示，DeepSpeed Chat 提供了 Alpaca 和 Vicuna 等所缺少的、一個(gè)端到端的 RLHF 管道來(lái)訓(xùn)練類(lèi)似 ChatGPT 的模型，解決的是成本和效率方面的挑戰(zhàn)。這是 “微軟令人印象深刻的開(kāi)源努力。..。.. 是一件大事”。

審核編輯 ：李倩