加入星計劃,您可以享受以下權益:

  • 創(chuàng)作內容快速變現(xiàn)
  • 行業(yè)影響力擴散
  • 作品版權保護
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
  • 相關推薦
  • 電子產業(yè)圖譜
申請入駐 產業(yè)圖譜

智能汽車圖像及視頻處理創(chuàng)新與應用

2022/12/13
1259
閱讀需 10 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

美攝從2021年起開始向汽車領域拓展,目前已有多款產品推向智己汽車等量產車型。在汽車行業(yè),美攝深度融合人工智能與視音頻技術,提供涵蓋圖像畫質增強、視頻智能創(chuàng)作、車內娛樂互動、AI識別與處理等在內的全鏈路技術解決方案。

2022年12月6日,由蓋世汽車主辦,中國(上海)自由貿易試驗區(qū)臨港新片區(qū)管理委員會指導,上海金橋臨港綜合區(qū)投資開發(fā)有限公司協(xié)辦的2022第四屆智能座艙與用戶體驗大會上,北京美攝網絡科技有限公司產品總監(jiān)劉翀介紹了目前美攝在汽車領域主打的圖像及視頻處理方案,將視音頻技術移植到車機之上,使汽車具備視頻編輯處理能力,同時可以對車輛攝像頭采集到的畫面進行分析識別,并與車機硬件聯(lián)動,為用戶帶來智能語音數(shù)字人交互、車內氛圍燈控制等更加場景化、智能化的駕乘體驗。

劉翀 | 北京美攝網絡科技有限公司 產品總監(jiān)

以下是演講內容整理:

我?guī)淼难葜v主題是《智能汽車圖像及視頻處理創(chuàng)新與應用》,內容主要是美攝在汽車圖像及視頻處理的整體方案,我會盡量以簡明扼要的方式向大家分享美攝的優(yōu)勢和特點。

美攝的發(fā)展歷程和業(yè)務范圍

講述整體產品方案前,先向大家簡單介紹一下美攝公司的情況。北京美攝網絡科技有限公司是一家專注于提供視音頻整體解決方案的技術公司,起家于廣電行業(yè),長期根植于互聯(lián)網行業(yè),逐漸拓展到汽車領域。我們長期為廣播電視領域提供服務,電視節(jié)目、包括電影制作中看到的很多音視頻技術都是由美攝提供的。

2017年,美攝將自己的產品提供給互聯(lián)網廠商、手機廠商使用;2021年,美攝開始把我們的技術向汽車領域拓展,現(xiàn)在已有多款搭載美攝產品的車型量產,比如智己L7。美攝的產品分為六大領域,1、視音頻處理SDK,2、AI智能處理產品,3、云端/PC端視頻處理方案,4、汽車及智能硬件方案,5、AR——數(shù)字人產品,6、開發(fā)及設計服務。

目前,美攝提供了傳統(tǒng)互聯(lián)網和手機領域70-80%的服務,汽車是我們新發(fā)的領域,已經和國內多個互聯(lián)網頭部廠商合作量產化方案,在不久的將來,相信大家可以在車機上看到、用到美攝的產品。

美攝在圖像、視頻領域的獨特解決方案

基于美攝在圖像、視頻的技術能力,我們可以提供全鏈路的技術解決方案,除了視頻剪輯處理,還有圖像的畫質增強,視頻的智能創(chuàng)作,車內娛樂和互動,AI識別及處理的能力,通過以上功能模塊,我們幫助用戶完成從攝像頭采集、畫質增強、視頻內容創(chuàng)作、后期的自動識別等工作。

首先是圖像及畫質增強,關鍵點在于對攝像頭的拍攝和預覽進行技術上的提升,最基礎的是圖像的校正算法,我們知道,很多車企攝像頭都帶有校正功能或者其他算法點,但是美攝提供的核心功能在于對畫面進行二次處理,保證用戶可以在預覽時就看到非常完整的視頻效果,整套方案最大的優(yōu)勢在于算力消耗低。在我們的汽車客戶里,很多都使用美攝的校正算法對車內攝像頭的畫面做二次修正,讓整個畫面達到可拍攝,可預覽的高質量水準。

這方面以外,我們還提供智能調色的功能,將不同終端的拍攝場景在色調上統(tǒng)一化。美攝現(xiàn)在引入了一套自動化的處理算法,不需要進行特殊的產品標定,可以通過AI自動檢測畫面中的問題,并動態(tài)地對不同場景進行處理,達到專業(yè)的校正效果,提升整個畫面的質量。這一算法占用算力也非常少,可以在低算力的情況進行實時化處理。

除了以上這點,在汽車的拍攝處理上還存在一個問題:當前的車規(guī)級攝像頭,在夜景拍攝時往往多噪點,針對這點,我們會提供一套AI夜景增強的算法:結合AI識別算法和色彩校正算法,自動判斷可能產生的噪點問題,調節(jié)畫面的色彩。

此外,目前車載攝像頭的數(shù)量越來越多,單一使用并不能發(fā)揮這些設備的全部潛力,為了形成更好的用戶觀感和體驗,美攝會提供一套多攝拼接的算法,利用車輛上的多種攝像頭,結合美攝的校正、圖像融合、智能化拼接等處理算法,最大程度消除變形問題,獲得超廣角、360度全視野的實時預覽效果。

汽車行駛的過程中進行拍攝和預覽,抖動一直是很大的問題,這種情況就可以配合非光學防抖和光學防抖的設備,結合美攝的AI算法,去識別畫面中抖動和模糊的情況,讓車輛行進中的多場景設備達到專業(yè)級拍攝和預覽的效果。

以上這些都是基于攝像頭做的基礎化處理,現(xiàn)在還有一個方向:車輛上視頻的智能創(chuàng)作。很多的車廠不僅把車輛定義為行駛類工具,也將其定義為記錄風景的載體,車輛的一次拍攝過程中會產生大量的視頻,把這些視頻交給用戶進行手動剪輯和制作,會帶來大量的創(chuàng)作難題。

那么,如何有限的提取精彩內容,并完成藝術化的創(chuàng)作包裝,這就成為了車輛拍攝視頻智能創(chuàng)作的明顯痛點,針對這點,美攝提供一套智能剪輯的方案,包括內容的AI檢測,視頻智能剪輯,后期配樂等,方便用戶保存和分享行車過程中比較優(yōu)質的內容。

用戶只需要導入視頻,美攝就會匹配剪輯手法和音樂,這一方案具有良好的拓展性,會根據車輛使用習慣,快速匹配場景,并隨著用戶的內容逐漸擴充智能剪輯的方案,形成智能化的產品。

如果用戶拍攝的是比較單調的行車視頻,美攝也會考慮讓視頻更娛樂化的方案,比如利用美攝的三維渲染引擎和AI天空分割技術去添加虛擬天空特效,讓普通的行車視頻產生更加出彩的效果。

美攝在汽車領域的解決方案

除了以上這些,美攝也在探索和車機結合的娛樂和互動方案。首先,車內的AR特效方案,現(xiàn)在車內配備了很多攝像頭,美攝可以在結合車內攝像頭的情況下,提供完整的AR效果,在整個方案中,我們會充分考慮到車載攝像頭廣角的問題,通過自動化的方案進行處理,形成優(yōu)質的車內拍攝效果。

除了這塊之外,美攝還會和車機語音系統(tǒng)結合,搭建車載數(shù)字人,形成語音交互系統(tǒng)的延伸。利用三維渲染引擎,結合語音交互系統(tǒng),反饋實時音頻流、文字、動作等內容,實時驅動數(shù)字人形象,升級整體的座艙交互體驗。

除了這些之外,AI識別及處理能力是美攝非常重要的優(yōu)勢點,美攝可以根據車輛各個攝像頭采集的畫面進行自動化的圖像處理,比如場景識別、人物識別、天空云彩等景象識別、地標屬性識別,在明確內容屬性的情況下,可以和車機硬件進行聯(lián)動,使車機無需完全依附手動控制,可以自動幫助用戶去采集和生成內容,以達到更好的人機交互體驗。

去年開始,美攝還在發(fā)力車端信息的匿名化處理這一領域。很多車輛的數(shù)據在上云或者離車之前都需要進行匿名化的處理,基于法規(guī)的相關要求,美攝提供的方案可以對檢測到的人臉和車牌進行遮擋等處理,整個方案針對車機的需求做了大量適配和優(yōu)化,盡量降低了對于CPU資源的占用,可以在車規(guī)級芯片上完成這類處理任務。

除了以上這些在車機端的應用和處理之外,我們注意到,用戶的車機和手機往往有互聯(lián)的需求,比如,用戶在車輛上拍攝的視頻內容和照片都可以回傳到手機APP內進行預覽,美攝可以充分發(fā)揮在手機領域的傳統(tǒng)優(yōu)勢,資源同傳之外,視頻也可以直接在手機上上進行處理和剪輯、分享和輸出。

以上就是美攝在車端產品方案的整體介紹,我們希望,可以同不同汽車廠商實現(xiàn)深度合作,讓汽車不僅限于行駛工具,還可以作為用戶精彩生活的記錄工具,加速高度智能化的車機時代的帶來。

(以上內容來自北京美攝網絡科技有限公司產品總監(jiān)劉翀于2022年12月6日由蓋世汽車主辦,中國(上海)自由貿易試驗區(qū)臨港新片區(qū)管理委員會指導,上海金橋臨港綜合區(qū)投資開發(fā)有限公司協(xié)辦的2022第四屆智能座艙與用戶體驗大會發(fā)表的《智能汽車圖像及視頻處理創(chuàng)新與應用》主題演講。)

相關推薦

電子產業(yè)圖譜