294
肇觀電子馮歆鵬親述Feynman深度相機(jī)背后的研發(fā)故事。
芯東西12月10報道，近日，國產(chǎn)視覺AI芯片公司肇觀電子推出了基于NE-D163A芯片的深度3D AI相機(jī)Feynman。NE-D163A芯片是肇觀電子在今年1月份推出的第二款D系列3D視覺芯片，具有高精度3D深度計算能力、支持200余種通用數(shù)學(xué)計算和較高的AI計算能力。
在這款芯片加持下，F(xiàn)eynman系列智能深度相機(jī)采用主動雙目視覺技術(shù)，在室內(nèi)外各種場景均能生成高幀率和高精度的深度圖，同時支持端側(cè)AI算法的部署，能夠幫助機(jī)器人、安防、AR/VR等行業(yè)的廠商實現(xiàn)精確定位、避障和分析等需求。芯東西采訪到了肇觀電子創(chuàng)始人兼CEO馮歆鵬，就Feynman相機(jī)研發(fā)背后的故事，以及肇觀電子對于智能深度相機(jī)賽道看法進(jìn)行了深入地探討。
▲肇觀電子創(chuàng)始人兼CEO馮歆鵬
01.多部門協(xié)同，自主研發(fā)相機(jī)助力客戶AI落地
Feynman系列相機(jī)的誕生還要從NE-D163A芯片說起。該芯片具備高AI算力和高精度3D深度計算能力，支持200余種通用數(shù)學(xué)計算。簡單來說，NE-D163A芯片在機(jī)器人上，可以消除傳統(tǒng)近距離盲區(qū)，提供周邊障礙的位置和距離；在近距離的人臉識別中，假如被測人員張嘴，NE-D163A可以精確識別嘴內(nèi)外的深度不同。
▲肇觀電子NE-D163A視覺AI芯片
芯片很好，也滿足了機(jī)器人、AR/VR、安防、工業(yè)等不同行業(yè)的痛點。但是在AI視覺這一新的賽道，相應(yīng)的模組廠商和系統(tǒng)廠商都不成熟，找上門的終端客戶需求也不盡相同。馮歆鵬稱：“市場的反饋是，有的客戶是有能力自己研發(fā)基于芯片的產(chǎn)品，有些客戶希望能拿到一個半成品（不光是提供芯片），有些客戶就希望拿到一個相機(jī)，然后進(jìn)一步推動他們產(chǎn)品的研發(fā)。”
最終，為幫助終端客戶實現(xiàn)快速AI落地，肇觀電子決定自己做一款3D視覺+AI的智能深度相機(jī)。這個決定并不簡單，一款合格的智能深度相機(jī)除了芯片，還需要面對傳感器光路設(shè)計、軟硬件結(jié)合、平衡系統(tǒng)功耗等不同的挑戰(zhàn)?？梢哉f做一款智能深度相機(jī)，肇觀電子要打通一整條產(chǎn)業(yè)鏈，而上一個這么做的是家大業(yè)大的英特爾。就算是英特爾，最近也為了專注芯片制造等核心業(yè)務(wù)，正在縮減RealSense深度相機(jī)業(yè)務(wù)規(guī)模，甚至?xí)P(guān)停其部門。
▲英特爾RealSense D435（左）與Feynman M1（右）
在產(chǎn)品之外，肇觀電子的客戶涉及各個不同的行業(yè)，僅機(jī)器人就既有用于內(nèi)蒙古強(qiáng)烈光照環(huán)境下的智能采集機(jī)器人，也有用于冷庫中的物流機(jī)器人，對環(huán)境要求可謂是天差地別。如何挖掘客戶需求進(jìn)行精準(zhǔn)地描述，最后加以解決是一個關(guān)鍵的挑戰(zhàn)。馮歆鵬透露，為了解決種種挑戰(zhàn)，肇觀電子動員了很多部門進(jìn)行研發(fā)，最終在NE-D163A芯片的基礎(chǔ)上自主完成了算法、光路、硬件、軟件、結(jié)構(gòu)、認(rèn)證等各方面的設(shè)計研發(fā)。
02.自帶高算力AI芯片低成本、功耗產(chǎn)生高清深度圖
作為芯片公司的肇觀電子，最大化地發(fā)揮出了NE-D163A芯片的性能優(yōu)勢。NE-D163A芯片作為主控芯片，內(nèi)嵌幾何和深度引擎DEP、AI加速引擎NPU和視覺加速引擎DSP。在芯片的加持下，F(xiàn)eynman相機(jī)自帶1.2Tops INT8/0.6Tops FP16的AI算力和666 DMIPS的CPU運算性能，是業(yè)界唯一一款內(nèi)嵌AI和DSP擴(kuò)展算力的深度相機(jī)。這對Feynman的部署起到了關(guān)鍵作用。
▲不同芯片跑經(jīng)典網(wǎng)絡(luò)模型每秒處理的圖片幀數(shù)對比
此前，終端客戶如果采用英特爾的RealSense相機(jī)，往往需要搭配i7系列的處理器。這種方案對最后終端產(chǎn)品的成本、功耗都不友好，還需要占用處理器帶寬，造成延遲等問題。相比之下，內(nèi)嵌高算力芯片的Feynman應(yīng)用更加簡單，可以直接在端側(cè)處理視覺數(shù)據(jù)，無需外掛其他處理器，就可以產(chǎn)生性能高達(dá)720P 30FPS的深度圖。因此Feynman相機(jī)既不需要向后傳輸數(shù)據(jù)，也降低了終端產(chǎn)品的中控算力要求，對客戶來說部署成本和使用成本都更低。Feynman相機(jī)整體的功耗水平在2W-3.8W之間，根據(jù)所運行的AI模型大小不同有所浮動。同時，在最重要的圖像探測上，F(xiàn)eynman相機(jī)搭載了散斑結(jié)構(gòu)光、雙目紅外攝像頭IR模組、彩色攝像頭RGB全局曝光模組以及慣性測量單元（IMU）等傳感器，能夠提供多維度的信息。
▲Feynman M1結(jié)構(gòu)圖
這些傳感器并不是Feynman的探測極限。馮歆鵬強(qiáng)調(diào)，NE-D163A芯片支持當(dāng)前雙目立體視覺、結(jié)構(gòu)光、ToF（飛行時間傳感器）、激光雷達(dá)等各類傳感器，F(xiàn)eynman傳感器配置是在功能、性能、成本和功耗四個維度考量后決定的。
當(dāng)前Feynman相機(jī)的傳感器可以最大化的滿足客戶需求，實現(xiàn)如在障礙物到相機(jī)僅有10cm的距離下仍能準(zhǔn)確分辨等功能。如果客戶需要使用其他類型的傳感器，F(xiàn)eynman相機(jī)也能夠滿足需求。實測數(shù)據(jù)顯示，F(xiàn)eynman的空洞率僅為0.2%，而同一環(huán)境下英特爾的RealSense空洞率在1%左右，這意味著Feynman相機(jī)采集到空間位置的有效信息更多。同時，F(xiàn)eynman的深度圖具有90°對角的廣角視場，比常規(guī)深度相機(jī)的視野更廣。
▲Feynman M1深度圖效果
最重要的一點則是，肇觀電子對Feynman相機(jī)的研發(fā)目標(biāo)就是適應(yīng)所有他們見過的場景，這里面就包括前文提到的內(nèi)蒙古10萬流明光照環(huán)境、冷庫中低溫環(huán)境和黑暗環(huán)境等。為此，肇觀電子在Feynman相機(jī)內(nèi)部的光路設(shè)計上花費了不少心思，使其能夠精確地控制補(bǔ)光和傳感器曝光。結(jié)合NE-D163A芯片的自學(xué)習(xí)ISP流水線架構(gòu)，F(xiàn)eynman相機(jī)在各種復(fù)雜光照環(huán)境下均能獲得優(yōu)質(zhì)的圖像。
▲不同光照環(huán)境下的圖像處理對比圖
03.提供高效軟件工具鏈可部署差異化算法
對于智能深度相機(jī)這一賽道，馮歆鵬表示看好。從技術(shù)發(fā)展來看，工廠的高度自動化、萬物智聯(lián)的發(fā)展趨勢是必然的。在這樣的大趨勢下，智能設(shè)備需要具備視覺能力，甚至要讓智能設(shè)備自己看懂世界。這一宏偉藍(lán)圖的關(guān)鍵，就是視覺系統(tǒng)，也就是智能深度相機(jī)。假設(shè)全球人口繼續(xù)增長，每個人周邊的智能設(shè)備也會越來越多，而這些智能設(shè)備都需要具備視覺能力，所以肇觀電子對這一賽道的市場前景十分看好。現(xiàn)實來講，肇觀電子已經(jīng)看到數(shù)十家Feynman相機(jī)的潛在客戶。為了讓Feynman相機(jī)應(yīng)用于各個客戶，肇觀電子提供了Windows、Android、Linux的驅(qū)動SDK，客戶通過中控直接加載就可實現(xiàn)通信，完成對Feynman相機(jī)的部署。
▲Feynman相機(jī)對各平臺SDK的支持
對于需要利用端側(cè)AI和DSP算力的產(chǎn)品和深度定制的客戶，肇觀電子則有一套InferStudio™工具鏈?？蛻艨梢酝ㄟ^InferStudio™將自己的神經(jīng)網(wǎng)絡(luò)翻譯成一個鏡像文件，以提供給Feynman相機(jī)使用。在整個采訪中，馮歆鵬談到了很多次Feynman相機(jī)在研發(fā)和落地過程中的挑戰(zhàn)和困難，有一部分原因是AI芯片產(chǎn)業(yè)鏈并不完善。
作為芯片公司的肇觀電子在Feynman相機(jī)的研發(fā)過程中，同時扮演了模組廠商、系統(tǒng)廠商的角色。相比賣芯片，基于NE-D163A芯片研制Feynman當(dāng)然挑戰(zhàn)的環(huán)節(jié)更多，但在馮歆鵬看來，這是肇觀電子參與產(chǎn)業(yè)鏈塑形的一個過程，能夠幫助更多地客戶找到AI落地的正確路徑和方法，有著更為實際的意義。
04.結(jié)語：肇觀電子參與產(chǎn)業(yè)鏈構(gòu)建解答AI落地挑戰(zhàn)
AI將改變各行各業(yè)已成為產(chǎn)業(yè)共識，但由于產(chǎn)業(yè)鏈不成熟使得AI落地需要花很大力氣；如何破解AI落地難的問題一直在困擾整個人工智能行業(yè)。對于很多AI芯片玩家的創(chuàng)始人，一方面他們有著深厚的芯片從業(yè)經(jīng)歷，另一方面卻要面對產(chǎn)業(yè)鏈并不完整的新問題。肇觀電子作為AI芯片賽道的參與者，親身參與了產(chǎn)業(yè)鏈的構(gòu)建，F(xiàn)eynman相機(jī)也是他們對于行業(yè)挑戰(zhàn)所提交的一份答卷，結(jié)果如何值得行業(yè)期待。
作者 | 高歌
編輯 | 漠影
