caht gpt全稱：Chat Generative Pre-trained Transformer

1. chatGPT介紹

chatGPT是由OpenAI開發(fā)的一個人工智能聊天機器人程序，于2022年11月推出。該程序使用基于GPT-3.5架構(gòu)的大型語言模型并通過強化學(xué)習(xí)進行訓(xùn)練。

ChatGPT目前仍以文字方式交互，而除了可以通過人類自然對話方式進行交互，還可以用于相對復(fù)雜的語言工作，包括自動文本生成、自動問答、自動摘要等在內(nèi)的多種任務(wù)。

如：在自動文本生成方面，ChatGPT可以根據(jù)輸入的文本自動生成類似的文本（劇本、歌曲、企劃等），在自動問答方面，ChatGPT可以根據(jù)輸入的問題自動生成答案。還具有編寫和調(diào)試計算機程序的能力。

在推廣期間，所有人可以免費注冊，并在登錄后免費使用ChatGPT實現(xiàn)與AI機器人對話。

ChatGPT可以寫出相似于真人程度的文章，并因其在許多知識領(lǐng)域給出詳細的回答和清晰的答案而迅速獲得關(guān)注缺茄，證明了從前認為不會被AI取代的知識型工作它也足以勝任，對于金融與白領(lǐng)人力市場的沖擊相當大，但其事實準確性參差不齊被認為是一重大缺陷，

其基于意識形態(tài)的模型訓(xùn)練結(jié)果并被認為需要小心地校正。ChatGPT于2022年11月發(fā)布后，OpenAI估值已漲至290億美元[7]。上線兩個月后，用戶數(shù)量達到1億。

2. chatGPT如何訓(xùn)練數(shù)據(jù)

ChatGPT使用基于人類反饋的監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)在 GPT-3.5 之上進行了微調(diào)。這兩種方法都使用了人類訓(xùn)練員來提高模型的性能, 通過人類干預(yù)以增強機器學(xué)習(xí)的效果，從而獲得更為逼真的結(jié)果。

在監(jiān)督學(xué)習(xí)的情況下，模型被提供了這樣一些對話, 在對話中訓(xùn)練師j充當用戶和AI助理兩種角色。在強化步驟中，人類訓(xùn)練員首先對模型在先前對話中創(chuàng)建的響應(yīng)進行評級。

這些級別用于創(chuàng)建“獎勵模型”, 使用近端策略優(yōu)化(Proximal Policy Optimization-PPO)的多次迭代進一步微調(diào)。

這種策略優(yōu)化算法比信任域策略優(yōu)化（trust region policy optimization）算法更為高效。這些模型是與 Microsoft合作,在其Microsoft Azure超級計算基礎(chǔ)設(shè)施上訓(xùn)練的。

此外，OpenAI繼續(xù)從ChatGPT用戶那里收集數(shù)據(jù)，這些數(shù)據(jù)可用于進一步訓(xùn)練和微調(diào) ChatGPT。 允段扮塵許用戶對他們從ChatGPT收到的回復(fù)投贊成票或反對票；在投贊成票或反對票時，他們還可以填寫一個帶有額外反饋的文本字段。

ChatGPT的訓(xùn)練數(shù)據(jù)包括各種文檔以及關(guān)于互聯(lián)網(wǎng)、編握禪程語言等各類知識，如BBS和Python編程語言。

關(guān)于ChatGPT編寫和調(diào)試計算機程序的能力的訓(xùn)練， 由于深度學(xué)習(xí)模型不懂編程，與所有其他基于深度學(xué)習(xí)的語言模型一樣，只是在獲取代碼片段之間的統(tǒng)計相關(guān)性。