979
ToF相機在車內應用主要有三處，一是汽車B柱上的人臉識別或者說Face ID，二是汽車中控的手勢識別Gesture，三是駕駛員狀態(tài)監(jiān)控DMS。未來可能再增加車內人員存在監(jiān)測Occupant Detection。
圖片來源：佐思汽研
2D平面相機主要做車內的DMS，典型代表是凱迪拉克CT6，2017年初研發(fā)，通用凡搭配Super Cruise都是此類設計，供應商為中國寧波均勝旗下的均勝安全系統(tǒng)，算法由澳大利亞上市公司SeeMachine提供，硬件為Xilinx的 Zynq-7000 FPGA。福特的Blue Cruise也是類似的設計，包括了F-150，MustangMach-E 和 Evos車型，算法由See Machine提供，硬件為Xilinx的 Zynq-7000 FPGA。寶馬早期的DMS由安波福提供，算法是Smart Eye，核心芯片則是英偉達。英偉達的東西自然不便宜。不過自ix、i4開始，寶馬轉向ToF。
2D平面相機自然不能做Face ID和手勢控制，從手機領域就能看出，沒有人敢這樣做，沒有深度數據，2D平面相機很容易被欺騙。手勢控制也自不必多言。在DMS領域，2D平面相機也面臨諸多挑戰(zhàn)，一是強光或快速光線變化，如陽光照射攝像頭、林蔭大道等場景，2D平面相機會致盲或者反應不過來。二是算法，深度學習模型越來越大，消耗的算法資源越來越多，意味著硬件處理器的成本越來越高。三是準確度，沒有深度數據，或者用深度學習推測的深度數據不僅精度很低且耗費大量運算資源。2D平面相機通常只能計算眨眼次數，眼簾開合程度這種平面信息，對歐美人種，大眼還能湊合，亞洲人眼小，瞇成一條縫很常見，準確度非常低，可能頻繁誤報，駕駛員一上車就會關掉DMS。眼球追蹤，頭部姿態(tài)算法是未來DMS的主流，用2D平面相機來做，準確度低且消耗運算資源多，成本高。
為了解決陽光問題，廠家們推出了NIR紅外，940nm處的太陽光能量比850nm處的要少得多，因此將光路的工作波長改為940nm基本上消除了致盲問題。
圖片來源：互聯(lián)網
然而問題來了，CMOS圖像傳感器的量子效率在940nm遠低于850nm，這意味著必須使用更強大的LED來照亮駕駛員的臉。由于距離很近，且是一直開啟，這不像激光雷達，只會偶爾掃到，可能百分之一秒，這是一上車就開啟的，很難做到人眼安全，駕駛員有失明的風險。所以只能降低功率，結果就是效果很差，準確度很低，尤其是夜間，最需要DMS的時候。
還有一個隱私問題，4月7日，工信部發(fā)布了《智能網聯(lián)汽車生產企業(yè)及產品準入管理指南（試行）》（征求意見稿），對智能網聯(lián)汽車網絡安全提出了多項要求?！墩髑笠庖姼濉凤@然針對未來車載數據隱私問題，提出了新的明確要求，“智能網聯(lián)汽車生產企業(yè)應依法收集、使用和保護個人信息，實施數據分類分級管理，制定重要數據目錄，不得泄露涉及國家安全的敏感信息。”2D平面相機無法根本上解決隱私問題。
還有一個小麻煩，2D平面攝像頭都是在轉向柱上的，這就意味著你要轉向柱廠家與你配合，成本自然要增加了，小廠家估計就沒有轉向柱廠家為你訂做此類產品。
結構光主要還是用在手機上，因為它距離有限，很難超過1米，車內應用幾乎沒見過。結構光要依賴光源投影的pattern。結構光最大的缺點是無法應對動態(tài)環(huán)境，也就是室外環(huán)境，光線環(huán)境的快速變化讓結構光很容易受到干擾。其次是材料成本高，再次是響應速度慢，需要消耗比較多的運算資源。再次是尺寸大，無法做到水滴屏，必須是大劉海。理論上結構光可以縮小尺寸，但有效距離也會大幅度縮小，必須臉緊貼屏幕，顯然這是不實用的。
立體雙目在車內應用只有最新的奔馳S級，奔馳在立體雙目領域耕耘超過25年，即便是在整個計算機視覺領域，奔馳都是立體雙目技術的最頂尖公司。立體雙目利用視差圖提供深度信息，對光線變換敏感度降低，但仍有標定復雜，消耗運算資源多，成本高的缺點。也只有奔馳這種將立體雙目爛熟于心的廠家才能玩得好。
ToF相機具備一切優(yōu)勢，包括陽光干擾、光線變化干擾、隱私、有效距離、深度精度、體積方面。dToF相機就是Flash激光雷達，iToF就是FMCW激光雷達。其物理重建3D過程包括點云數據生成和點云配準，點云數據生成主要是坐標變換，點云匹配最常見的是ICP算法（ICP算法由Besl and McKay 1992, Method for registration of 3-D shapes文章提出，該算法已經在PCL庫中實現(xiàn)）。ICP算法本質上是基于最小二乘法的最優(yōu)配準方法。通過選擇對應兩個點云的關系點，然后重復計算最優(yōu)變換，直到滿足正確配準條件。
3D人臉識別處理的是3D的數據，如點云、體素等，這些數據是完整的，立體的，準確度高，且無需深度學習的卷積加入，算法簡潔可靠，魯棒性高具備可解釋性，消耗運算資源很少。中控CPU（如常見的高通665）的運算資源就足以覆蓋，無需單獨外加運算SoC，這是ToF相機最強大的地方。此外，因為測距精度高，F(xiàn)OV寬，能夠監(jiān)測大范圍的頭部運動，同時也更容易集成到車內后視鏡，而不是集成到轉向柱上。
那為什么很少聽說ToF相機在車上的應用呢？原因有兩點，一是B柱上的人臉識別Face ID剛剛出現(xiàn)，這個應用場合，非ToF相機莫屬。眾多新興造車將在明年開始上這個功能，人臉車鑰匙。二是，早期的ToF的光源也是近紅外，近期才改用VCSEL，只有VCSEL才能發(fā)揮ToF的潛力。
圖片來源：互聯(lián)網
LED的功率密度低，脈沖速度低，效率低，波長穩(wěn)定性低，用于消費類電子尚可。最大缺點是FOV窄，用于手持設備尚可，用于車內不行。
圖片來源：互聯(lián)網
不過VCSEL進步很快，ToF終修成正果。
ToF又可以分為iToF（間接飛行時間）和dToF（直接飛行時間）兩類。dToF和iToF的原理區(qū)別主要在于發(fā)射和反射光的區(qū)別。dToF的原理比較直接，即直接發(fā)射一個光脈沖，之后測量反射光脈沖和發(fā)射光脈沖之間的時間間隔，就可以得到光的飛行時間。而iToF的原理則要復雜一些。在iToF中，發(fā)射的并非一個光脈沖，而是調制過的光。接收到的反射調制光和發(fā)射的調制光之間存在一個相位差，通過檢測該相位差就能測量出飛行時間，從而估計出距離。iToF的最大問題就在于最大測距距離和測距精度之間的矛盾。舉例來說，當調制頻率為100MHz時，那么無論飛行時間是1ns還是11ns反應在調制相位差上都是36度，因此其最大測距距離就被調制周期所限制了；iToF有效距離通常不超過2米，但在車內應用足夠了。另一個小缺點，iToF由于在檢測相位差的時候使用了積分，所以環(huán)境光也會在積分過程中對于iToF電路造成干擾，因此iToF在明亮環(huán)境下的性能會受到影響。但仍比2D相機要好得多。iToF的測距精度也比dToF高，制造難度也比dToF低。
dToF 深度算法相對簡單，但是因為要檢測光脈沖信號（納秒甚至皮秒級），對光的敏感度要求很高，因此接收端通常選擇 SPAD即單光子陣列，早期SPAD成本高，良率低，像素低，目前隨著松下、佳能、索尼和三星的大力研發(fā)，這些缺點都已不存在。當然同樣成本下，iToF的分辨率會高一點。dToF則完全不受環(huán)境光的影響。全球范圍內可以提供3D ToF圖像傳感器的供應商，包括松下、佳能、索尼、英飛凌、Melexis、ADI、EPC Photonics、三星以及Artilux等多家公司。目前能過車規(guī)的主要是Melexis和松下。日本廠家技術能力強，畢竟CCD時代，日本廠家是壟斷的，CCD時代的經驗累積讓日本廠家以dToF為方向，歐美廠家則以難度低的iToF為主。
圖片來源：互聯(lián)網
上圖為Melexis的產品特性簡介，顯然這是iToF，調制頻率是100MHz，絕大部分iToF都是這個頻率，高調制頻率大約是200MHz。FOV高達110°，波長選擇940納米，也是因為這個波長，量子效率最高。
圖片來源：互聯(lián)網
Melexis達到了最高的車規(guī)級，運行溫度范圍高達105℃，而一般是85℃。2020年8月Melexis宣稱其車載ToF傳感器出貨量已達到100萬片。英飛凌則有REAL3傳感器，分辨率略低為352*288，也達到了105℃溫度上限。
國內因為松下將半導體業(yè)務專賣給中國臺灣新唐半導體，并且蘇州松下半導體也轉至新唐名下，因此國內方案就近選擇松下的CCD ToF傳感器比較多，通常與之配合是ADI的控制IC。
圖片來源：互聯(lián)網
ADI ToF系統(tǒng)框架圖，ToF傳感器一般都是松下的MN34906，控制IC也可以用ADDI9043。高通的Robotics RB3平臺就是這種設計。分辨率是VGA級，90*70的FOV。
圖片來源：互聯(lián)網
ADI更多考慮戶外應用，特別適合放在B柱子上的Face ID應用。
對于dToF，其有效距離更遠，像素也可以更高，因此更適合做激光雷達，車內應用有些浪費了。ToF吸引了全球所有光電大廠，傳統(tǒng)2D相機是被動傳感器，已無潛力可挖，而ToF是主動傳感器，潛力無限，ToF傳感器飛速發(fā)展，ToF相機將在DMS和Face ID領域取代傳統(tǒng)2D相機。
