大廠都在押注的“端到端”自動(dòng)駕駛

自動(dòng)駕駛領(lǐng)域正在掀起新一輪技術(shù)革命。

在自動(dòng)駕駛狗都不理的2024年，“端到端”自動(dòng)駕駛大模型初創(chuàng)公司W(wǎng)ayve.AI，獲得10.5億美元融資；

2024年3月特斯拉推出FSD V12.3，采用了視頻輸入和控制輸出的完全“端到端”的大模型；

小鵬、蔚來、理想等新勢(shì)力車企都在規(guī)劃“端到端”上車；

地平線、元戎啟行等Tier1也都宣布將部署基于“端到端”的智能駕駛系統(tǒng)……

什么是端到端（end-to-end）自動(dòng)駕駛？

馬斯克在描述特斯拉FSD Beta v12 時(shí)，就提到“端到端”自動(dòng)駕駛，可以實(shí)現(xiàn)輸入圖像，輸出轉(zhuǎn)向、剎車、加速等車輛控制信號(hào)的能力。（FSD Beta v12 is reserved for when FSD is end-to-end AI, from images in to steering, brakes & acceleration out.）

輸入端是感知信號(hào)，經(jīng)過“一個(gè)整體的自動(dòng)駕駛模型”，輸出端是控制信號(hào)，所以叫“端到端”。

這里為什么強(qiáng)調(diào)“一個(gè)整體的自動(dòng)駕駛模型”？這是相對(duì)于“經(jīng)典自動(dòng)駕駛模型”而言。因?yàn)槟壳耙蚜慨a(chǎn)的“經(jīng)典自動(dòng)駕駛模型”中，基本上采用的都是模塊化架構(gòu)。一個(gè)“經(jīng)典自動(dòng)駕駛模型”被分拆為多個(gè)執(zhí)行不同功能的模塊，每個(gè)功能模塊實(shí)現(xiàn)一個(gè)任務(wù)——感知、預(yù)測(cè)、規(guī)劃、控制等，當(dāng)然了，每個(gè)任務(wù)模塊下面還有更多更細(xì)分的功能。

整個(gè)流程基本上是這樣的，感知系統(tǒng)（攝像頭、激光雷達(dá)、毫米波雷達(dá)）捕獲周圍環(huán)境數(shù)據(jù)，將環(huán)境數(shù)據(jù)分析后，把相應(yīng)的道路信息（車道線、標(biāo)識(shí)、紅綠燈等）、障礙物、車輛信息傳送給規(guī)劃模塊，做出智能的AI路線規(guī)劃，進(jìn)而控制模塊根據(jù)規(guī)劃進(jìn)行車輛各個(gè)動(dòng)力系統(tǒng)的控制。

這是一個(gè)典型的按照工程師思維教機(jī)器做事兒的思路。

所以這是一種“流水線”式的AI模塊組合，好處是可解釋性較強(qiáng)，每個(gè)模塊單獨(dú)訓(xùn)練，出了問題了順藤摸瓜找到出問題的環(huán)節(jié)。壞處也有一大堆，因?yàn)槭橇魉€，數(shù)據(jù)在傳遞過程中很容易遺漏、誤差、失真等，也可能每個(gè)模塊都是局部最優(yōu)，但是組合在一起并不一定能夠?qū)崿F(xiàn)整體最優(yōu)。

比如信息遺漏方面，假設(shè)開夜車的時(shí)候，遠(yuǎn)處的彎道閃了一道轉(zhuǎn)瞬即逝的光，可能老司機(jī)瞥見了會(huì)減速，以提防對(duì)面來車。但自動(dòng)駕駛系統(tǒng)可能就會(huì)忽略這一道光的信息，除非事先訓(xùn)練了這個(gè)特定場(chǎng)景。

但問題是這種場(chǎng)景千千萬，cornercase永遠(yuǎn)也處理不完。

而大廠都在押注的“端到端”自動(dòng)駕駛架構(gòu)，則是通過一個(gè)模型實(shí)現(xiàn)了多個(gè)功能模塊的功能，只需要針對(duì)這一個(gè)模型進(jìn)行整體訓(xùn)練、調(diào)整優(yōu)化，有點(diǎn)兒通用人工智能AGI的感覺了。

輸入端是感知信號(hào)，輸出端是控制信號(hào)，一個(gè)模型實(shí)現(xiàn)，有點(diǎn)兒ChatGPT大語言模型的意思了，所以最大難點(diǎn)，和ChatGPT一樣，就是“可解釋性”很差。

這個(gè)“端到端”自動(dòng)駕駛模型毫無疑問目前是個(gè)黑盒子。

首先，如果決策執(zhí)行的正確無誤，你也不知道它為什么會(huì)這么做，背后的決策原理和邏輯是什么。其次，如果決策失誤，也很難溯源為什么會(huì)出差錯(cuò)，哪里出了錯(cuò)，將來該如何修正避免，所能做的就是持續(xù)喂進(jìn)更多的數(shù)據(jù)、增加參數(shù)量，通過不斷訓(xùn)練、調(diào)參，來提高模型的精度。

這妥妥的人的大腦啊，就像我也不知道我為啥打開了手機(jī)點(diǎn)了一杯九塊九的瑞幸，結(jié)果還忘了去取……

而且“端到端”自動(dòng)駕駛模型的訓(xùn)練數(shù)據(jù)和經(jīng)典的自動(dòng)駕駛模型的訓(xùn)練數(shù)據(jù)也不一樣，不再是簡(jiǎn)單標(biāo)注過的環(huán)境視頻和圖像，而是駕駛行為和周圍環(huán)境融為一體的視頻，學(xué)習(xí)的是駕駛行為，需要教會(huì)車機(jī)大腦，在不同場(chǎng)景下像人類一樣做出反應(yīng)。

大模型的優(yōu)勢(shì)也稍微顯現(xiàn)出來了，拼命往里喂海量數(shù)據(jù)就好了，大力出奇跡，采用無監(jiān)督訓(xùn)練方式，省去標(biāo)注環(huán)節(jié)，等待“涌現(xiàn)”的那一刻就好了。

為什么馬斯克會(huì)這么狂熱支持“端到端”自動(dòng)駕駛，我覺得跟他一直推崇的“第一性原理”也有關(guān)系，這也是為什么特斯拉堅(jiān)持視覺路線的原因——人開車的時(shí)候，并沒有那么多傳感器，還是兩只眼睛為主，所以要實(shí)現(xiàn)自動(dòng)駕駛，要做的是擬人的行為，眼睛、大腦、四肢就足夠了，而不是模仿傳統(tǒng)信息論下的機(jī)器的行為。

總而言之，要實(shí)現(xiàn)復(fù)雜場(chǎng)景下平穩(wěn)絲滑的自動(dòng)駕駛，將略顯智障的上一代自動(dòng)駕駛升維，真得依賴一個(gè)擬人化程度較高的車機(jī)大腦。

創(chuàng)造一個(gè)模擬人腦的車機(jī)大腦，以前看似不可能，現(xiàn)在大模型讓這個(gè)想法成為現(xiàn)實(shí)。

其實(shí)想想邏輯似乎也講得通，我們?nèi)祟愒陂_車的時(shí)候，大腦也不是按照經(jīng)典的自動(dòng)駕駛模型下感知、預(yù)測(cè)、規(guī)劃、控制的流程去做決策啊。特別是在一些相對(duì)熟悉的道路上行駛，似乎都是本能在驅(qū)動(dòng)，大腦基本處在僵化狀態(tài)，更別談看到每一幀畫面，先大腦進(jìn)行分析，然后再做出決策……if then這個(gè)流程，在實(shí)際大腦運(yùn)作中似乎并不存在，除了一些特殊的場(chǎng)合，比如找不到路了，根據(jù)路牌，心里判斷決策一下，方向盤到底打左轉(zhuǎn)還是右轉(zhuǎn)……

比如理想的下一代自動(dòng)駕駛系統(tǒng)，就來源于快慢系統(tǒng)理論：快系統(tǒng)（端到端模型E2E），依賴直覺與本能保證大部分(95%)場(chǎng)景下的高效率；慢系統(tǒng)（視覺語言模型VLM），有意識(shí)地分析思考解決少數(shù)(5%)場(chǎng)景下的高上限。

本質(zhì)上人的大腦，也是一個(gè)黑盒子，不管是不是在開車的時(shí)候。

所以有的人也就針對(duì)大模型的不可預(yù)測(cè)性做了一個(gè)挺詭辯的回答，不要擔(dān)心大模型的不可預(yù)測(cè)性，如果你擔(dān)心“端到端”自動(dòng)駕駛模型不可預(yù)測(cè)不可解釋，難道你滴滴打車的時(shí)候，就一定認(rèn)為滴滴司機(jī)的大腦和行為可預(yù)測(cè)可解釋？

好有道理，我無言以對(duì)。