1418
乘員狀態(tài)監(jiān)控技術是車輛安全系統(tǒng)的發(fā)展方向。許多商業(yè)車隊已經(jīng)采用了乘員狀態(tài)監(jiān)控，乘員監(jiān)測（如兒童）是進入一個新領域的合理的步驟。
事實上，它已經(jīng)獲得了監(jiān)管部門的青睞和行業(yè)的采用。Euro NCAP將鼓勵在2022年搭載該系統(tǒng)的車廠，而大部分車廠也愿意在2025年之前將乘員監(jiān)控作為一項標準功能。
是什么推動了這種變化？為什么乘員監(jiān)測對未來的移動出行如此關鍵？簡單的答案是車輛的自動駕駛程度越來越高。像乘員狀態(tài)系統(tǒng)這樣的監(jiān)測技術在識別從乘員行為和狀態(tài)到緊急情況、專注度等一切方面的能力上具有支持作用。
乘客的安全（包括寵物）必須考慮到更多的自動化，以及自動駕駛及其體驗。Xperi的DTS AutoSense正是為此而開發(fā)設計的，原因如下：
變化環(huán)境中的安全性：乘員狀態(tài)技術需要實時處理各種變化，如乘客控制、自動駕駛環(huán)境、部分自動駕駛、緊急乘客控制等。為此，它應該提供整個艙內(nèi)的概況，并能以框架的精度進行分析。
乘員定位：雖然乘客應該在車內(nèi)安全地坐好，但實際上他們往往不這樣做，特別是兒童。乘員狀態(tài)技術可以分析并發(fā)出警告，安全氣囊可以根據(jù)每個乘客的姿勢和暴露在事故中的情況來部署。這項技術可以以與乘客ID相一致的可控方式部署安全氣囊，還可以提供定制的旅行體驗（針對負載的設置、溫度、照明、聲音等）。
乘員行為：在一個更加自動駕駛的未來，安全監(jiān)管機構需要了解的遠不止是座位中的乘員情況。通過開發(fā)后視鏡攝像頭流，并通過各種基于神經(jīng)網(wǎng)絡的算法進行分析，我們已經(jīng)實現(xiàn)了一個整體的艙內(nèi)傳感系統(tǒng)，可由任何監(jiān)管機構對更多的行為上下文進行評分。
乘員體驗：不僅僅是安全問題，乘員狀態(tài)監(jiān)測將通過個性化的音樂、照明方案、座椅調(diào)整等實現(xiàn)更好的旅程體驗，所有這些都基于乘客的ID/位置/行為和活動。想象一下，通過活動和分析，根據(jù)你的情緒為你選擇播放列表。
實現(xiàn)這一目標是一項重大挑戰(zhàn)。當時，業(yè)界的看法是，不可能通過一個攝像頭同時對司機和乘客進行感知。最大問題是后視鏡的角度，這個位置攝像頭不是正面對著駕駛員，直接影響了駕駛員感知技術的效果。
該技術是如何開發(fā)的？
DTS AutoSense乘員監(jiān)控系統(tǒng)（OMS）背后的核心技術利用了計算機視覺中的機器學習和神經(jīng)處理技術的進步，將質(zhì)量和性能提高到新的水平。通過對數(shù)據(jù)的精心使用，檢測、分類和識別的KPI達到了90%以上的水平。
具有高質(zhì)量標注的相關數(shù)據(jù)的可用性是性能的關鍵，這就是為什么DTS在數(shù)據(jù)基礎設施的各方面進行了大量投資，從采集和生成、驗證、評估、存儲、檢索和計算能力，到專門用于使用和管理的熟練勞動力。在確保數(shù)據(jù)流安全的情況下，DTS AutoSense利用AI的進步，繼續(xù)創(chuàng)新開發(fā)。
結果是該乘員監(jiān)測系統(tǒng)解決方案是完全神經(jīng)性的，以定制的CNN為基礎，結合身體、面部和一般物體的級聯(lián)檢測器，生成艙內(nèi)上下文，并對其進行操作。Xperi還部署了一個復雜的鏡頭畸變校正過程，然后是一個定制的圖像處理序列，對乘客進行艙內(nèi)三維空間定位。
該解決方案與攝像頭無關，因此Xperi認為有能力應對現(xiàn)有艙內(nèi)空間的任何攝像頭和鏡頭系統(tǒng)。該解決方案在RGB-IR/IR傳感器上運行，無論是單一的RGB流、RGB-IR，還是純IR傳感器。
該解決方案可在任何車輛艙內(nèi)實時運行，可以提供反饋和/或直接報告乘客狀態(tài)。如果車輛中的一個座位被占用，這個位置將被實時檢測、記錄、報告。
開發(fā)的挑戰(zhàn)開發(fā)新的技術和創(chuàng)建新的、未定義的用例帶來了一些重大挑戰(zhàn)。當建立一個關鍵功能所需的核心技術時，Xperi遇到了未曾預見的副作用。每一個副作用都必須得到處理、解決、編目和分類，才能繼續(xù)推進。
最終，它需要一個新的技術水平，包括開發(fā)新的采集系統(tǒng)、數(shù)據(jù)標注、額外的符號要求和流程，以及神經(jīng)訓練方法的完整的精煉。以下是列舉的一些挑戰(zhàn)以及Xperi如何解決這些挑戰(zhàn)的。
保持DMS的準確性
有些人可能會認為，單攝像頭解決方案（后視鏡DMS和OMS）與駕駛員正面的攝像頭相比，會影響準確性。然而，從后視鏡可以獲得更廣泛的上下文，這意味著通過分析駕駛員的擴展景觀，即身體姿勢分析、行為、活動檢測等，可以獲得相同甚至更高的準確性。
后座的遮擋率
另一個巨大的挑戰(zhàn)涉及到處理后座乘客的遮擋率（前座總是在一定程度上遮擋后方物體）。我們通過對乘客的活動和行為進行時間分析來克服這些問題。這種分析產(chǎn)生了一個復雜的算法，在一段時間內(nèi)跟蹤每個乘員的活動（睡覺、說話、使用小工具、身體運動、姿勢、物體的出現(xiàn)/消失等），然后保存它的歷史。
基于這些信息，Xperi計算出物體（被遮擋或不被遮擋）的概率以及由此產(chǎn)生的具體行為（可觀察或不可觀察）。只有在對這些活動和行為的歷史進行整體分析后，才能發(fā)出有效的決策/預警。
檢測乘員
檢測艙內(nèi)空間區(qū)域外的乘員是一個獨特的挑戰(zhàn)。Xperi的OMS僅通過計算機視覺和RGB-IR或IR傳感器就能cover艙內(nèi)的乘員。然而，這需要超越目前座椅壓力傳感器的限制，以便系統(tǒng)能夠始終檢測到車內(nèi)的人員數(shù)量和他們的位置。
該檢測技術的一個副作用是它能同時檢測到車外和車內(nèi)的人，影響了解決方案的有效性。因此，他們想出了具體的幾何計算技術，只檢測艙內(nèi)的情況。
總的來說，在應對這些挑戰(zhàn)的過程中，Xperi開發(fā)了特定的數(shù)據(jù)采集方案，并完善了一個定制的基礎設施，能夠為這項技術的特殊問題設計解決方案。
測試
這些挑戰(zhàn)的復雜性需要嚴格的分析和測試，包括評估上下文、特定場景、姿勢行為和遮擋。Xperi表示他們涉及到了各種因素，從車廂大小和形狀，到白天與夜間的光線，再到高遮擋率。然后，從不同的車輛上收集了各種乘客（最多5人）的真實旅行場景，以及多種旅行長度和景觀。
傳感器和圖像質(zhì)量是至關重要的。必須解決主要由噪聲、曝光過度（極端陽光）、曝光不足（低光照條件）引起的問題，這些問題由混合IR和可見光域、快速環(huán)境光轉(zhuǎn)換（進入隧道）、車內(nèi)和乘客身上的陰影，以及不同的環(huán)境照明、顏色和強度引起。
在這些不同的照明情況下，乘客進行了各種活動和姿勢，這些活動和姿勢由特定的硬件系統(tǒng)進行驗證/標注，并由一個熟練的數(shù)據(jù)團隊進一步分析。
Xperi表示，他們的團隊花了數(shù)年的構思、開發(fā)、測試和更多的測試，為乘用車創(chuàng)造了一個真正準確的乘員監(jiān)測系統(tǒng)。
顯然，車廠的艙內(nèi)功能數(shù)量會增加，因此，他們需要有相應數(shù)量的安全元素和用例，這將是至關重要的。DTS AutoSense的設計、開發(fā)、測試，已經(jīng)為全球市場的挑戰(zhàn)做好了準備。
[參考文章]
Occupancy Status Technology: Is It the Future of Vehicle Safety? — Szabolcs Fulop
