車(chē)載AI Agent產(chǎn)品開(kāi)發(fā)：如何通過(guò)大模型實(shí)現(xiàn)“座艙代言人”？

佐思汽研發(fā)布《2024年車(chē)載AI Agent產(chǎn)品開(kāi)發(fā)與商業(yè)化研究報(bào)告》。

根據(jù)OPEN AI對(duì)AI的分類(lèi)方式（共5個(gè)級(jí)別），AI Agent位于AI發(fā)展路徑的第3個(gè)級(jí)別：

OPEN AI對(duì)AI的分類(lèi)方式

來(lái)源：OPEN AI

而2023年大熱的大模型受限于交互方式與工具使用能力等，最多也只能達(dá)到L2推理者的級(jí)別。對(duì)比下來(lái)，通過(guò)構(gòu)建車(chē)載Agent來(lái)發(fā)展汽車(chē)AI體系是一個(gè)較為合適的目標(biāo)：Agent通過(guò)主動(dòng)智能特性與多類(lèi)工具/大模型調(diào)用，補(bǔ)全大模型在場(chǎng)景應(yīng)用中的痛點(diǎn)，進(jìn)一步提升座艙智能化水平。

Agent是情感座艙代言人

“情感座艙”的口號(hào)已經(jīng)喊了很多年，但是真正實(shí)現(xiàn)還是從大模型上車(chē)開(kāi)始，在觸發(fā)特定條件下，語(yǔ)音助手通過(guò)預(yù)置的情感語(yǔ)料庫(kù)與用戶(hù)聊天，但在真實(shí)聊天場(chǎng)景下無(wú)法適應(yīng)人類(lèi)的對(duì)話邏輯；而車(chē)載Agent上車(chē)后，通過(guò)集成多個(gè)大模型底座，對(duì)環(huán)境的識(shí)別更為準(zhǔn)確，更多數(shù)量的工具庫(kù)接口則進(jìn)一步加強(qiáng)了其泛化能力，能夠應(yīng)付多元化場(chǎng)景下的聊天問(wèn)答，真正實(shí)現(xiàn)“座艙代言人”的溫暖陪伴。

部分Agent在不同場(chǎng)景下的情感關(guān)懷示例

整理：佐思汽研

主流的情感交互場(chǎng)景的設(shè)計(jì)重點(diǎn)在情緒識(shí)別、用戶(hù)記憶、行為編排等領(lǐng)域，部分主機(jī)廠、Tier1也推出了提升Agent情感價(jià)值的技術(shù)或產(chǎn)品：

部分主機(jī)廠、Tier1的Agent情感技術(shù)/產(chǎn)品

整理：佐思汽研

以小愛(ài)同學(xué)為例，其“情感對(duì)話系統(tǒng)”的構(gòu)建包含三個(gè)步驟：

小愛(ài)同學(xué)“情感對(duì)話系統(tǒng)”構(gòu)建步驟

整理：佐思汽研

混合策略疏導(dǎo)模型包含情感狀態(tài)增強(qiáng)編碼器、混合策略學(xué)習(xí)模塊、多因素感知解碼器三個(gè)重要組件

馬耳他大學(xué)數(shù)字游戲研究所提出了情感框架（Affectively Framework），設(shè)立情感模型，在訓(xùn)練過(guò)程中采用行為獎(jiǎng)勵(lì)和情感獎(jiǎng)勵(lì)機(jī)制，幫助 Agent 更好地理解人類(lèi)的情感，并能夠與人類(lèi)進(jìn)行更自然的交互。

提升用戶(hù)體驗(yàn)需要解決的痛點(diǎn)

想象一下，智能座艙不僅能夠聽(tīng)懂并執(zhí)行車(chē)主下達(dá)的指令，還能預(yù)測(cè)車(chē)主的需求，就像一個(gè)貼心的私人助理，這是不是會(huì)讓車(chē)主更加期待？相比于買(mǎi)了傳統(tǒng)汽車(chē)后每個(gè)功能還要自己摸索一遍，誰(shuí)不想要一個(gè)“動(dòng)動(dòng)嘴”就能幫你打理所有座艙功能的座艙“代言人”呢？Agent主打一個(gè)省時(shí)省事。

雖然現(xiàn)階段已上車(chē)的Agent大部分還停留在助手、陪伴以及具體場(chǎng)景功能列舉層面，但相比于大模型，Agent擁有更大潛力，具備可激發(fā)的自主性和突出的工具使用能力，更加貼合“主動(dòng)智能”標(biāo)簽，甚至能夠彌補(bǔ)大模型在實(shí)際應(yīng)用中的限制。

大模型與Agent的部分區(qū)別

整理：佐思汽研

然而，要讓車(chē)載Agent真正做到“主動(dòng)智能”，滿足用戶(hù)的體驗(yàn)價(jià)值，在技術(shù)開(kāi)發(fā)上還有很長(zhǎng)的路要走。Agent需要在主動(dòng)感知、數(shù)據(jù)處理、狀態(tài)識(shí)別等環(huán)節(jié)做得更加精確，通過(guò)準(zhǔn)確理解環(huán)境，判斷車(chē)內(nèi)人員的真實(shí)需求，再根據(jù)不同環(huán)境采取不同的策略。其中，難點(diǎn)之一在于Agent對(duì)用戶(hù)需求的準(zhǔn)確判斷，相比正常情況下的被動(dòng)交互，主動(dòng)意圖識(shí)別缺少語(yǔ)音指令，而在環(huán)境/人員/車(chē)輛狀態(tài)識(shí)別的過(guò)程中，未必能夠通過(guò)向量特征匹配得到與當(dāng)前場(chǎng)景極為相近的描述，預(yù)置方案也未必符合車(chē)內(nèi)人員真正的意圖。

主動(dòng)推薦動(dòng)作的生成示意圖

來(lái)源：佐思汽研

目前，多數(shù)推薦功能僅僅是執(zhí)行預(yù)設(shè)的指令，反而限制了Agent的“主動(dòng)智能”能力，導(dǎo)致在推理環(huán)節(jié)頻繁出現(xiàn)痛點(diǎn)。例如，如果Agent不能準(zhǔn)確理解當(dāng)前的場(chǎng)景，它就可能做出不符合用戶(hù)預(yù)期的推薦，比如在錯(cuò)誤的時(shí)間推薦音樂(lè)或?qū)Ш降?。最終結(jié)果就是影響用戶(hù)體驗(yàn)，導(dǎo)致Agent成為用戶(hù)眼中的“猜測(cè)機(jī)器”。

此外，Agent在接受語(yǔ)音指令的感知環(huán)節(jié)同樣也有痛點(diǎn)，如佐思汽研非完全統(tǒng)計(jì)了部分車(chē)主對(duì)于使用車(chē)載Agent的使用痛點(diǎn)案例，頻率較高的痛點(diǎn)主要為喚醒失敗、識(shí)別錯(cuò)誤、誤喚醒。

不完全統(tǒng)計(jì)下的車(chē)載Agent使用痛點(diǎn)分析

整理：佐思汽研

在120個(gè)痛點(diǎn)案例中，喚醒失敗、識(shí)別錯(cuò)誤、誤喚醒的提及頻率分別達(dá)到19、18、17個(gè)，占比分別為16%、15%、14%，其他痛點(diǎn)還包括不支持可見(jiàn)可說(shuō)、不識(shí)別方言、延遲響應(yīng)、不支持語(yǔ)義澄清、不支持連續(xù)指令等，共計(jì)89個(gè)語(yǔ)音環(huán)節(jié)的痛點(diǎn)，占本次統(tǒng)計(jì)調(diào)研的74.2%。

此外，Agent架構(gòu)/場(chǎng)景設(shè)計(jì)不合理導(dǎo)致的一系列問(wèn)題還包括場(chǎng)景觸發(fā)條件不合理、大模型需要二次喚醒、長(zhǎng)/短期記憶失效、根據(jù)車(chē)主習(xí)慣自主做出的推薦動(dòng)作不符合預(yù)期等，分別體現(xiàn)了Agent在場(chǎng)景設(shè)置、架構(gòu)部署、記憶模塊、反思模塊上的限制。

總結(jié)說(shuō)來(lái)，用戶(hù)痛點(diǎn)較多地集中在感知與推理環(huán)節(jié)：

• 感知：“叫不醒”（喚醒失敗）、“瞎回答”（誤喚醒）、“聽(tīng)不懂”（識(shí)別錯(cuò)誤）、“啥也不會(huì)”（不支持可見(jiàn)可說(shuō)）、“耳背”（延遲響應(yīng)）等；

推理：“睜眼瞎”（物體識(shí)別錯(cuò)誤）、“亂推薦”（自主推薦不符合用戶(hù)預(yù)期）等。

快速響應(yīng)的多Agent框架

為實(shí)現(xiàn)“代言人”在座艙的全面功能，Agent在多元化場(chǎng)景下的服務(wù)框架設(shè)計(jì)極為重要。Agent框架構(gòu)建方式較為靈活，可以采用最簡(jiǎn)單的“接收器+執(zhí)行器”架構(gòu)，也可以構(gòu)建更加復(fù)雜的多智能體架構(gòu)，其設(shè)計(jì)原則很簡(jiǎn)單：只要在特定場(chǎng)景下能解決用戶(hù)問(wèn)題，那就是好的框架設(shè)計(jì)。作為一個(gè)合格的“座艙代言人”，車(chē)載Agent除了需要像一個(gè)獨(dú)立思考的個(gè)體，自己做決定、解決問(wèn)題外，還要像人一樣，快速、自如地采取人類(lèi)的行為模式。

蔚來(lái)汽車(chē)的Nomi就是一個(gè)典型的例子。它采用了多智能體架構(gòu)，在不同的場(chǎng)景下，調(diào)用不同的工具，通過(guò)多個(gè)分工不同的Agent履行特定職責(zé)，共同完成理解需求、決策裁決、執(zhí)行任務(wù)、反思迭代的流程。多智能體架構(gòu)讓Nomi不僅能夠快速響應(yīng)，還能像人一樣做出更自然的反應(yīng)，與汽車(chē)的其他功能無(wú)縫融合，讓體驗(yàn)更加流暢。

相比單Agent系統(tǒng)，多Agent系統(tǒng)更適合執(zhí)行復(fù)雜的指令，就像一個(gè)小型社區(qū)，每個(gè)“Agent”都有自己的任務(wù)，但它們又能協(xié)作完成更復(fù)雜的工作。比如，一個(gè)Agent負(fù)責(zé)理解你的指令，另一個(gè)負(fù)責(zé)決策，還有專(zhuān)門(mén)的Agent來(lái)執(zhí)行任務(wù)。這種設(shè)計(jì)讓車(chē)載AI Agent系統(tǒng)更加靈活，能夠處理更多樣化的任務(wù)。如澳大利亞聯(lián)邦科學(xué)與工業(yè)研究組織（CSIRO）提出一種同時(shí)采用協(xié)調(diào)Agent和執(zhí)行Agent的多Agent系統(tǒng)：

整個(gè)Agent框架分為6個(gè)模塊，分別為感知交互（Understanding&Interaction）、推理（Reasoning）、工具使用（Tool Use）、多Agent協(xié)作（Multi-Agent Collaboration）、反思（Reflection）以及價(jià)值對(duì)齊（Alignment），囊括了主流的Agent設(shè)計(jì)模式，包含從主動(dòng)感知、推理決策、工具調(diào)用到生成執(zhí)行、反思迭代并與人類(lèi)價(jià)值對(duì)齊的整個(gè)流程。該框架的特點(diǎn)是引入多Agent系統(tǒng)，可由不同的Agent分別擔(dān)當(dāng)整個(gè)流程中分發(fā)/決策/執(zhí)行的不同角色，充分發(fā)揮各個(gè)Agent優(yōu)勢(shì)，提升任務(wù)執(zhí)行的效率。

此外，在多元化場(chǎng)景下，Agent部署方式和工具調(diào)用能力也影響著用戶(hù)需求是否能被快速、準(zhǔn)確的執(zhí)行。以蔚來(lái)Nomi為例：

Nomi Agents分別在端側(cè)、云端兩個(gè)部分進(jìn)行部署，端側(cè)與云端分別搭載端側(cè)模型與NomiGPT，端側(cè)模型與SkyOS深度融合，能夠及時(shí)調(diào)用原子能力，進(jìn)行跨域資源的調(diào)度（如數(shù)據(jù)、車(chē)控硬件/軟件等），加快響應(yīng)速度；云端Nomi GPT連接更多云端工具資源接口，進(jìn)一步加強(qiáng)Nomi Agents工具調(diào)用能力。Nomi Agents架構(gòu)布置在SkyOS中間件層，通過(guò)與SkyOS結(jié)合，調(diào)用原子API、硬件/軟件、數(shù)據(jù)的過(guò)程更加自然協(xié)調(diào)、也更加迅速。