Waymo最新最強自動駕駛模擬器，剛剛對外開源了

曹原 發(fā)自 副駕寺，智能車參考 | 公眾號 AI4Auto

Waymo聯(lián)手谷歌，發(fā)布最新自動駕駛仿真模擬器。

和比較常見、提供十分逼真的車輛和道路環(huán)境的仿真模擬器不同，Waymax的圖像簡潔到有點粗略了：

但別看效果圖只剩下小方塊和實線虛線，實際上這是一個復雜而細致的多智能體環(huán)境，能讓自動駕駛系統(tǒng)更好學習決策和規(guī)劃：

△處理擁堵，系統(tǒng)能更像人類司機

更重要的是，Waymax各項代碼文件已開源。

并且在Waymax的開發(fā)團隊中，還有不少華人科學家的身影。

Waymax有什么特點

首先，Waymax是一個更專注自動駕駛決策和規(guī)劃層面的自動駕駛仿真模擬器，并且提供的是多智能體場景。

智能體（agent）是自動駕駛仿真中常見的術(shù)語，也會譯作“代理”，代表的是自動駕駛車輛、行人、其他車輛、公交車等等路上常見的道路交通參與者。

為什么要叫智能體？

是因為在這樣的仿真場景下，每個智能體都具有一定的自主決策和行為能力，讓仿真場景從交通參與者的角度更接近真實環(huán)境。

△比如圖中這些粉色的框

并且，傳統(tǒng)模擬器往往采用預定義的智能體，人為編寫智能體應(yīng)該做什么，但往往和真實情況有差距。

Waymax提供的則是利用Waymo Driver（Waymo自動駕駛平臺），收集到的超過數(shù)千萬英里真實世界自動駕駛數(shù)據(jù)，提前構(gòu)建出的智能體，更符合現(xiàn)實情況。

從Waymax的效果圖也能看出，Waymax是一個輕量級模擬器，方便進行快速迭代。

Waymax完全使用JAX編寫，可以運行在TPUs、GPUs等硬件加速器上，支持單圖內(nèi)仿真訓練，同時支持大規(guī)模、分布式機器學習工作流。

并且，Waymax也支持在線訓練和評估。

那么，Waymax都包括什么？

Waymax的介紹

首先，在數(shù)據(jù)使用方面，Waymax支持三種方式：

從Waymo開放數(shù)據(jù)集（Waymo Open Motion Dataset）加載數(shù)據(jù)（需要在Waymo的網(wǎng)站上注冊）；

從本地磁盤加載數(shù)據(jù)；

通過Google Cloud遠程流式傳輸數(shù)據(jù)；

其次，Waymax定義了五個評估車輛行為的指標，包括：

在車輛模擬的動力學模型方面，Waymax支持兩種，分別是直接基于狀態(tài)的控制模型，和自行車運動學模型。

其中，直接基于狀態(tài)的控制模型允許用戶直接設(shè)置車輛的位置，方向和/或加速度，不考慮運動學約束。

也就是用戶可以完全控制車輛狀態(tài)，模擬器則根據(jù)用戶提供的狀態(tài)來模擬車輛行為。

而自行車運動學模型通過加速度和轉(zhuǎn)向來控制車輛，并將車輛模擬成一個沒有摩擦的剛體，考慮車輛的運動學特征，可以更精確模擬車輛行為。

Waymax模擬器的默認幀率是每秒10幀（10Hz），和Waymo開放數(shù)據(jù)集使用的幀率相同。用戶也可以根據(jù)需要自行調(diào)整幀率。

△發(fā)生碰撞的演示

而對于仿真場景中未受控制對象，Waymax也支持三種操作模式允許智能體模擬行為，包括日志回放（Log playback），基于IDM的路徑跟隨模型（IDM-based route-following model），以及用戶自定義模型。

Waymax還支持強化學習訓練，提供兩種常用接口，包括無狀態(tài)仿真接口（類似Brax API）和有狀態(tài)仿真接口（實現(xiàn)dm-env API）。

為什么做出Waymax

Waymo這幾年都會舉辦公開仿真智能體挑戰(zhàn)賽（Waymo Open Sim Agents Challenge），Waymo在模擬器中預先放置了智能體，研究人員需要訓練這些智能體能夠和車輛進行盡可能真實的交互。

而在2022年的挑戰(zhàn)賽中，Waymo意識到自己沒有建立足夠強大的模擬器來訓練智能體。

所以，Waymo和Google DeepMind合作開發(fā)出Waymax，可以實現(xiàn)閉環(huán)運行，并且能持續(xù)監(jiān)控和調(diào)整自動駕駛系統(tǒng)的行為，以實現(xiàn)訓練自動駕駛系統(tǒng)的目的。

對于自動駕駛系統(tǒng)來說，仿真模擬是更經(jīng)濟安全的測試和評估性能的方式。

所以這就要求仿真模擬器不僅能夠提供真實的仿真環(huán)境，同時環(huán)境中各種物體應(yīng)該像真實道路上的車、行人、自行車等等一樣，能夠自我決策該怎么走，以及要做出什么反應(yīng)。

因此，仿真模擬器需要提供能夠互相交互的智能體，最好還能低成本、可以快速迭代訓練。

Waymo副總裁、研究主管Drago Anguelov表示：

Waymo開放數(shù)據(jù)集還有Waymax，是想引導學術(shù)或研究討論能朝著我們認為有希望的方向發(fā)展。我們也非常期待其他研究人員利用這些資源能開發(fā)出什么技術(shù)。

并且Anguelov還說，明年Waymo可能會重新舉辦一次仿真智能體挑戰(zhàn)賽，就用新的模擬器Waymax。

Waymo也提供了一份Waymax詳細的代碼和教程，感興趣的可以試起來了～（不可商用）

代碼傳送門：https://github.com/waymo-research/waymax

論文傳送門：https://arxiv.org/abs/2310.08710

參考鏈接：https://techcrunch.com/2023/10/19/waymos-new-simulator-helps-researchers-train-more-realistic-agents/?guccounter=1