如果要評(píng)選2023年最大的風(fēng)口，AI大模型一定位列其中。

風(fēng)起自ChatGPT的現(xiàn)象級(jí)爆火，英偉達(dá)創(chuàng)始人黃仁勛激動(dòng)地喊出了“AI的iPhone時(shí)刻正在到來(lái)“。

整個(gè)科技圈似乎達(dá)成了一種共識(shí)：所有產(chǎn)品都值得用大模型重做一遍，當(dāng)然也包括正處于寒冬之中的自動(dòng)駕駛。

然后，幾乎是一夜之間，整個(gè)汽車圈都是GPT上車的消息，長(zhǎng)安、集度、吉利、嵐圖、紅旗、長(zhǎng)城、東風(fēng)日產(chǎn)、零跑等搭上了百度的文心一言。

“蔚、小、理“先后申請(qǐng)了GPT的相關(guān)商標(biāo)。其中，理想自研的Mind GPT已經(jīng)正式發(fā)布。另外，毫末智行也在不久前發(fā)布了自動(dòng)駕駛生成式大模型drive GPT。

可以說(shuō)AI大模型的火熱，給正在冷卻中的自動(dòng)駕駛又畫了一張新的大餅。

有人表示從中看到了自動(dòng)駕駛的未來(lái)。比如集度汽車創(chuàng)始人夏一平，小鵬汽車董事長(zhǎng)脊睜何小鵬等，當(dāng)然也有很多人覺得，GPT上車目前就是個(gè)PR行為。

所以，今天來(lái)嘗試探討一個(gè)問題，大模型之于自動(dòng)駕駛，到底有什么作用？它能給這個(gè)已經(jīng)燒掉無(wú)數(shù)金錢但依然成效寥寥的賽道，帶來(lái)一個(gè)相對(duì)確定的未來(lái)么？

NO.1 [不可解釋的“涌現(xiàn)”和自動(dòng)駕駛的困境]

先明確一個(gè)定義，大模型是指具有超大參數(shù)規(guī)模（通常在十億個(gè)以上）和復(fù)薯野蘆雜程度的機(jī)器學(xué)習(xí)模型。通常來(lái)說(shuō)，參數(shù)量越大，模型就越容易擬合海量數(shù)據(jù)的規(guī)律。

而ChatGPT的出現(xiàn)，讓人們有一個(gè)非常驚喜的發(fā)現(xiàn)。那就是當(dāng)模型參數(shù)量達(dá)到了一定程度，超過(guò)某個(gè)臨界值之后，它的性能會(huì)大大超越預(yù)期。

很多科學(xué)家驚嘆于這一現(xiàn)象，并將其稱之為“涌現(xiàn)“。但遺憾的是到目前為止還沒有一套系統(tǒng)、公認(rèn)的理論來(lái)解釋為什么會(huì)出現(xiàn)這個(gè)現(xiàn)象。

所以我們姑且相對(duì)簡(jiǎn)單地把這種“涌現(xiàn)“理解為一個(gè)從量變到質(zhì)變的過(guò)程。在跨過(guò)臨界點(diǎn)之后，模型精度呈指數(shù)型增加，甚至產(chǎn)生了類似于人類的邏輯思考能力。

而這種能力很可能是自動(dòng)駕駛算法攻克最后1％長(zhǎng)尾場(chǎng)景的關(guān)鍵所在。在數(shù)據(jù)標(biāo)注、虛擬仿真環(huán)境以及決策規(guī)劃上，大模型都有可能改變甚至重寫過(guò)去的算法。

舉個(gè)例子，低頻率但又幾乎不可窮盡的Corner Case，正是從高階輔助駕駛邁向自動(dòng)駕駛最大的一塊絆腳石。

而Corner Case的出現(xiàn)帶有極強(qiáng)的不可預(yù)知性，毫末智行數(shù)據(jù)智能科學(xué)家賀翔舉了一個(gè)例子，一輛卡車轉(zhuǎn)運(yùn)一顆大樹，算法看到的可能只有車，而沒有伸出車外的樹枝。

類似的狀況有很多，比如說(shuō)很特別的大件運(yùn)輸車輛，甚至是違規(guī)拉著很長(zhǎng)一根管子的三輪車。

面對(duì)這些場(chǎng)景，算法只識(shí)別的車輛是不夠的，但按照現(xiàn)在基于標(biāo)簽的方式來(lái)挖掘長(zhǎng)尾場(chǎng)景，只能給系統(tǒng)看大量的標(biāo)注圖片，教它學(xué)會(huì)識(shí)別。

不過(guò)問題在于，這些車輛出現(xiàn)的頻率太低，數(shù)據(jù)采集的難度大、成本高、周期長(zhǎng)，真正碰到這種場(chǎng)景的概率又小，成本上是算不過(guò)來(lái)的。

但AI大模型具備舉一反三的能力，我們可以通過(guò)文字的描述來(lái)使其檢索并對(duì)圖像進(jìn)行分類，檢索甚至是自主創(chuàng)造我們需要的長(zhǎng)尾場(chǎng)景，例如拖著大樹的卡車，拉著長(zhǎng)水管的三輪車等。

除此之外，大模型也可以更好的從數(shù)據(jù)中提取特征，進(jìn)行數(shù)據(jù)標(biāo)注。

比如，先用海量未標(biāo)注數(shù)據(jù)通過(guò)自監(jiān)督的方式預(yù)訓(xùn)練一個(gè)大模型，然后用少量已經(jīng)人工標(biāo)注好的數(shù)據(jù)對(duì)模型做微調(diào)，使得模型具備檢測(cè)能力，這樣模型就可以自動(dòng)標(biāo)注需要的數(shù)據(jù)。

目前，很多公司都在研究如何提高大模型自動(dòng)標(biāo)注的精度，希望實(shí)現(xiàn)自動(dòng)標(biāo)注的完全無(wú)人化。

在Mind GPT發(fā)布之后，理想汽車董事長(zhǎng)李想就表示：“我們一年要做大概1000萬(wàn)幀的自動(dòng)駕駛圖像的人工標(biāo)定，外包公司價(jià)格大概6元到8元錢一張，一年成本接近一億元。當(dāng)我們使用大模型，通過(guò)訓(xùn)練的方式進(jìn)行自動(dòng)化標(biāo)定，過(guò)去需要用一年做的事情基本上3個(gè)小時(shí)就能完成，效率是人的1000倍。”

總之，自動(dòng)駕駛的感知也好，規(guī)劃決策也好，目前基本上是基于經(jīng)驗(yàn)和規(guī)則的，缺少場(chǎng)景泛化的能力。

但就像夏一平所言，大模型解決的正是泛化的問題，是舉一反三的問題，這可能讓自動(dòng)駕駛在未來(lái)數(shù)帶3-5年內(nèi)又重大的突破。

因?yàn)閺母旧蟻?lái)說(shuō)，生成式AI在語(yǔ)言模型上的應(yīng)用思路是可以平移到自動(dòng)駕駛上的。

雖然計(jì)算機(jī)不懂自然語(yǔ)言，但它通過(guò)數(shù)學(xué)建模，把語(yǔ)言問題變成了數(shù)學(xué)問題。通過(guò)給定文本的歷史，預(yù)測(cè)下一個(gè)詞出現(xiàn)的概率，間接地理解了自然語(yǔ)言。

換到駕駛場(chǎng)景，如果給定當(dāng)前的交通環(huán)境，給定一個(gè)導(dǎo)航地圖，以及一個(gè)駕駛員駕駛行為的歷史，那么，大模型是不是可以預(yù)測(cè)下一個(gè)駕駛動(dòng)作？

理論上，這是可行的。地平線的創(chuàng)始人余凱認(rèn)為以AI現(xiàn)在所展現(xiàn)的學(xué)習(xí)能力，學(xué)習(xí)司機(jī)的駕駛習(xí)慣并不難。

“接下來(lái)要繼續(xù)用更大的數(shù)據(jù)、更大的模型，無(wú)監(jiān)督地去學(xué)習(xí)人類駕駛的嘗試，就像我們從大量無(wú)監(jiān)督的、沒有標(biāo)注的自然文本里去學(xué)習(xí)一樣，構(gòu)建一個(gè)回歸自動(dòng)駕駛的大語(yǔ)言模型。”

NO.2 [吃餅還需算力硬]

大模型為自動(dòng)駕駛畫出來(lái)的這張餅，很誘人。但能不能消化其實(shí)是另外一回事兒。

“現(xiàn)在說(shuō)GPT上車都是噱頭，車端還沒有運(yùn)轉(zhuǎn)大模型的硬件條件。”賀翔說(shuō)道。

理論上，大模型需要高規(guī)格的硬件配置，包含高性能計(jì)算能力、大容量?jī)?nèi)存和低時(shí)延等特點(diǎn)，但車載設(shè)備的硬件條件相對(duì)有限，無(wú)法提供足夠的計(jì)算資源支撐大模型運(yùn)行。

舉個(gè)例子，在自然語(yǔ)言處理領(lǐng)域的 GPT-3 模型就需要數(shù)萬(wàn)億Tops的計(jì)算能力。這要求芯片的算力至少要在萬(wàn)級(jí)Tops以上才能夠勝任大型模型的計(jì)算任務(wù)。

但是，在車載部署場(chǎng)景下，芯片的算力往往只有數(shù)百Tops，遠(yuǎn)遠(yuǎn)達(dá)不到大型模型的要求。

所以，目前自動(dòng)駕駛大模型也只能暫時(shí)運(yùn)轉(zhuǎn)在云端，例如毫末智行的Drive GPT。

但即便如此，它依然可以對(duì)車端產(chǎn)生影響。 比如通過(guò)用知識(shí)蒸餾的方式“教”車端的小模型。

最簡(jiǎn)單的方式就是把需要打標(biāo)簽的圖片給大模型學(xué)習(xí)，大模型可以給這些圖片打好標(biāo)簽，標(biāo)注好的圖片就可以用于小模型的訓(xùn)練。

所以，大模型對(duì)算力的消耗讓云計(jì)算廠商成為了第一批被風(fēng)吹起來(lái)的玩家。

2023年以來(lái) 阿里、美團(tuán)、騰訊等互聯(lián)網(wǎng)大廠也都紛紛收縮或者調(diào)整了自動(dòng)駕駛相關(guān)的投入，將更多的精力放到了云計(jì)算和AI大模型上。

而主機(jī)廠這邊，自建超算中心也逐漸成為了基本操作。

當(dāng)然如果大模型只能運(yùn)轉(zhuǎn)在云端，它對(duì)于自動(dòng)駕駛的影響會(huì)小很多。因?yàn)閺脑贫说杰嚩耍呐轮皇且稽c(diǎn)點(diǎn)的時(shí)延也可能會(huì)在公路上造成悲劇。

所以目前地平線、英偉達(dá)等芯片企業(yè)都在積極研發(fā)適應(yīng)大模型上車需求的新一代高算力AI芯片。

地平線CTO黃暢認(rèn)為，按照發(fā)展進(jìn)程來(lái)看，在自動(dòng)駕駛場(chǎng)景中，大模型在車端會(huì)優(yōu)先從環(huán)境模型的預(yù)測(cè)和交互式規(guī)控和規(guī)劃開始應(yīng)用。

“這個(gè)場(chǎng)景不需要特別的大規(guī)模參數(shù)模型，在百Tops級(jí)別的算力平臺(tái)上就能應(yīng)用， 3~5年內(nèi)就可以初步上線。”

“但如果從感知到定位地圖到規(guī)控，整個(gè)端到端的閉環(huán)做出來(lái)，則需要一個(gè)更大規(guī)模的參數(shù)模型，大概需要5~10年的時(shí)間。”黃暢補(bǔ)充到。

NO.3 [寫在最后]

嚴(yán)格來(lái)說(shuō)，一夜火遍全球的ChatGPT只是AI大模型中的一種。自動(dòng)駕駛行業(yè)對(duì)于大模型的運(yùn)用比ChatGPT的爆火要早很多。

2017年，馬斯克從Open AI挖來(lái)了了一位計(jì)算機(jī)視覺領(lǐng)域的頂級(jí)研究院Andrej Karpathy。

他在特斯拉工作了五年，最高做到了AI高級(jí)總監(jiān)兼自動(dòng)駕駛負(fù)責(zé)人，而這五年也被絕大多數(shù)人認(rèn)為是特斯拉自動(dòng)駕駛成長(zhǎng)最快的五年。

入職后不久，Andrej Karpathy就重寫了特斯拉自動(dòng)駕駛算法，以BEV純視覺感知+Transformer為基礎(chǔ)，將特斯拉的智能駕駛帶入了新的階段。

當(dāng)下小鵬、華為、毫末智行、理想等企業(yè)正在紛紛跟進(jìn)這一路線。

而所謂Transformer是一種由谷歌8為AI科學(xué)家提出的一種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，GPT中的T正是指代Transformer。

Open AI將Transformer運(yùn)用于自然語(yǔ)義理解，誕生了ChatGPT；特斯拉將其應(yīng)用于計(jì)算機(jī)視覺，成功開創(chuàng)了BEV技術(shù)，讓純視覺感知成為了潮流。

接下來(lái)，Transformer還將被自動(dòng)駕駛玩家們逐步運(yùn)用到?jīng)Q策規(guī)劃等各個(gè)環(huán)節(jié)，改變現(xiàn)有模塊化的部署方式，邁向端到端的自動(dòng)駕駛。

我們現(xiàn)在還無(wú)法預(yù)知這一切會(huì)擦出怎么樣的火花，但可以肯定大模型在智能駕駛上還未達(dá)到自然語(yǔ)義一般“涌現(xiàn)”的程度。

芯片算力、數(shù)據(jù)來(lái)源以及豐富程度甚至是車輛的散熱性能，都還沒有準(zhǔn)備好迎接大模型的上車。

但至少，改變已經(jīng)在發(fā)生，也許這一次自動(dòng)駕駛這條路也許就真的通了呢？