加入星計劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴散
  • 作品版權(quán)保護
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入

如何克服邊緣視覺的帶寬限制?

2023/08/18
4778
服務支持:
技術(shù)交流群

完成交易后在“購買成功”頁面掃碼入群,即可與技術(shù)大咖們分享疑惑和經(jīng)驗、收獲成長和認同、領(lǐng)取優(yōu)惠和紅包等。

虛擬商品不可退

當前內(nèi)容為數(shù)字版權(quán)作品,購買后不支持退換且無法轉(zhuǎn)移使用。

加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論
放大
實物圖
  • 方案介紹
  • 相關(guān)文件
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請入駐 產(chǎn)業(yè)圖譜

解鎖視覺新境界!虹科HK-Gidel FantoVision 40小型計算機,解決邊緣視覺挑戰(zhàn)。多相機連接,高幀率高像素,實時處理,緊湊高效,無需高帶寬。壓縮預處理,開啟視覺新紀元!

在追求更高像素、幀率和空間分辨率的視覺行業(yè),邊緣視覺與圖像采集面臨巨大挑戰(zhàn)。其中,1GigE相機輸出已不足,傳輸問題有待解決。與此同時,圖像傳感器的快速發(fā)展也使接口帶寬成為瓶頸。

虹科提出創(chuàng)新解決方案,通過圖像采集卡實現(xiàn)壓縮和預處理,滿足高帶寬、低延遲需求。開放的FPGA支持快速算法開發(fā)。虹科-Gidel FantoVision 40小型計算機是我們的杰作。這款產(chǎn)品連接多相機實現(xiàn)高效圖像采集和處理,將打開視覺應用新篇章。

01 邊緣視覺與圖像采集挑戰(zhàn)

邊緣視覺是指將相機連接到邊緣計算機或嵌入式計算機,并在云端進行處理或存儲。此外,它也在一些機器控制方面發(fā)揮著重要作用。我們收到了客戶的反饋,對于1GigE相機的輸出已經(jīng)不足以滿足需求,因此只能將其連接到PLC。為了解決這一問題,我們需要相機的第二個1 GigE的輸出通道,以便能夠?qū)D像數(shù)據(jù)傳輸云服務器。

(圖1 邊緣視覺的過程)

機器視覺行業(yè)開始不斷追求更多像素、更高幀率以及更高的空間和時間分辨率。正如圖中所示,你能看到許多圖像傳感器(棕色點)。它們通過連接線連接到典型的接口,藍線代表PCIe 3.0,紅線代表CoaXPress v2 x4。然而,當圖像傳感器的帶寬超過某條線時,接口的帶寬已經(jīng)不足以傳輸數(shù)據(jù)。

(圖2 不同圖像傳感器的參數(shù)對比)

事實上,許多圖像傳感器的帶寬比10GigE和CoaXPress?v1更快,甚至比100GigE接口還要快。這表明圖像傳感器取得了巨大進步,能夠提供高幀率、高像素和快速傳輸。盡管我們在接口方面也取得了一些進步,帶寬速度不斷提高,但仍面臨挑戰(zhàn),特別是要與傳感器的發(fā)展速度匹配,以及解決GPU和CPU性能不足的問題。

在面對高分辨率高速傳感器的解決方案時,我們同時面臨著多個瓶頸,例如攝像頭接口、GPU和CPU橋接接口,以及CPU的負載和處理能力。實際上,計算機上送云端的帶寬最好情況下也只有1G。

而如果有多個攝像頭,情況會變得更復雜。想象一下有多個10GigE、CoaXPress或100 GigE相機,以100 GigE相機為例,速度每秒96千兆比特乘以攝像機的數(shù)量。然而,大多數(shù)情況下,電腦最大帶寬接口PCIe 3.0只有48千兆比特每秒,這成為了一個關(guān)鍵的瓶頸。

02 解決方案

為了解決這些問題,我們提出了一種解決方案,即在多攝像頭和CPU架構(gòu)之間放置圖像采集卡,從而實現(xiàn)壓縮和預處理。圖像采集設(shè)備能夠提取感興趣區(qū)域(ROI),進而減少總數(shù)據(jù)帶寬。因此,我們需要滿足實際應用的需求,包括高帶寬相機接口、多相機接口、超高精度同步和可定制的IOs用于控制外圍設(shè)備。在處理過程中,還需要低延遲、大DRAM以支持計算復雜的算法,因此需要多個千兆比特每秒的內(nèi)存訪問帶寬。實時壓縮和ROI選擇是解決這些問題的有效方法。

(圖3 圖像采集卡的作用)

(圖4 圖像采集卡的作用)

考慮到開發(fā)人員的需求,便捷的開發(fā)也是一個關(guān)鍵因素。我們采用了開放的FPGA,使得軟件工程師可以在圖像采集卡上放置特定的IP,并利用FPGA集成開發(fā)環(huán)境快速實現(xiàn)算法和方案開發(fā)。這要求圖像采集卡在靈活性和易用性方面也要表現(xiàn)出色。

最后,關(guān)于系統(tǒng)集成,我們考慮到若有PCI 3.0 x8或x16接口能夠獲得最大性能,并且具備小尺寸和被動冷卻性能,我們未來或許可以考慮將圖像采集卡和計算機合二為一。

03 虹科產(chǎn)品與解決方案

基于上文的發(fā)展背景,虹科推出了一款名為虹科-Gidel FantoVision 40的開創(chuàng)性小型計算機。這款計算機可以連接高達4臺10GigE Vision或4臺CoaXPress 2.0相機,從而實現(xiàn)圖像采集和處理。該計算機的創(chuàng)新架構(gòu)將高端圖像采集與實時圖像處理和/或壓縮相結(jié)合,采用了Nvidia JetsonTM嵌入式計算機,并在Intel Arria 10TM FPGA上進行可選的預處理/壓縮。

(圖5 虹科-Gidel FantoVision 40產(chǎn)品)

此外,虹科-Gidel FantoVision還有一個顯著特點,即其開放式體系結(jié)構(gòu)支持GPU和FPGA上的嵌入式AI/圖像處理。軟件工程師可以利用CUDA C/C++和NVIDIA的庫在GPU上編寫他們的算法。此外,使用新穎的ProcVision套件,在FPGA上開發(fā)和部署可選的預處理塊既簡單又快速。

通過多個虹科-Gidel FantoVision單元的相互連接,我們可以提供獨特且可擴展的拓撲結(jié)構(gòu)。利用InfiniVision?開放式框架抓取器流程,我們可以處理多達100個傳感器的同步數(shù)據(jù)。

綜上所述,虹科-Gidel FantoVision為高帶寬、低延遲應用提供了一種新型緊湊、經(jīng)濟高效、可擴展的視覺和成像解決方案。例如,在交通監(jiān)測和面板檢測等應用中,它能夠提取和識別高分辨能夠提取和識別高分辨率圖像中的關(guān)鍵信息,如車牌號碼等。這些信息可以通過云端或其他設(shè)備進行傳輸,而不需要過多的帶寬。

(圖6 應用案例)

部門介紹

虹科智能感知事業(yè)部專注于智能感知與機器視覺領(lǐng)域,已經(jīng)和IDS、Gidel、SOSLAB、Luxonis 等有著重要地位的國際公司展開深度的技術(shù)合作。我們提供的產(chǎn)品和服務包括工業(yè)相機、圖像采集卡、邊緣計算機、激光雷達、深度AI相機、視覺處理平臺、AI平臺及視覺系統(tǒng)集成等。虹科智能感知技術(shù)團隊師從德國、以色列、美國的機器識別和圖像處理等領(lǐng)域內(nèi)的專家培訓和指導,目前已經(jīng)陸續(xù)在國內(nèi)完成了多家一線公司的原料體積監(jiān)測、高端機器人圖像處理、智能巡檢、工件質(zhì)量識別、汽車圖像采集、AOI、晶圓半導體檢測等項目。

  • 推文230807 - 與非網(wǎng).docx

推薦器件

更多器件
器件型號 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊 ECAD模型 風險等級 參考價格 更多信息
P410QM223M300AH101 1 KEMET Corporation RC Network,

ECAD模型

下載ECAD模型
$1.85 查看
0510210200 1 Molex Board Connector, 2 Contact(s), 1 Row(s), Female, Straight, Crimp Terminal, Receptacle, ROHS COMPLIANT

ECAD模型

下載ECAD模型
$0.29 查看
TFM252012ALVA2R2MTAA 1 TDK Corporation General Purpose Inductor,

ECAD模型

下載ECAD模型
$0.81 查看

相關(guān)推薦

電子產(chǎn)業(yè)圖譜

虹科是一家資源整合及技術(shù)服務落地供應商,與全球頂尖公司深度技術(shù)合作,專注于制造業(yè)、汽車、生物、醫(yī)藥、測試與測量、廣播電視與媒體、通信、網(wǎng)絡(luò)安全、光電等領(lǐng)域,為客戶提供:智能自動化、工業(yè)物聯(lián)網(wǎng)、智能感知、數(shù)字化+AR、光電、網(wǎng)絡(luò)安全、測試測量、衛(wèi)星與無線通信、醫(yī)藥環(huán)境監(jiān)測與驗證、生命科學、汽車電子、汽車維修診斷、云科技等解決方案。虹科始終致力于為行業(yè)客戶提供創(chuàng)新及前端的產(chǎn)品和技術(shù)解決方案,為科技社會發(fā)展助力加碼。