Arm Corstone-320：加速語音、音頻和視覺物聯(lián)網(wǎng)系統(tǒng)的部署

隨著語音、音頻和視覺功能融合到物聯(lián)網(wǎng) (IoT) 中，聯(lián)網(wǎng)設(shè)備與其周圍環(huán)境交互、解讀和感知的方式發(fā)生了徹底的變化。未來的物聯(lián)網(wǎng)市場蘊含巨大機遇，特別是在視覺領(lǐng)域。在未來的十年里，數(shù)以百萬計的先進(jìn)攝像頭將被部署到工廠、倉庫、城市、辦公室和商店等各類場所，從而推動了物聯(lián)網(wǎng)用例前所未見的規(guī)模，呈指數(shù)級增長。這些用例涵蓋安保、人員和環(huán)境監(jiān)測、能源、設(shè)施和庫存管理、訪問控制、安全和用戶界面，并且根據(jù)位置的不同，每個用例所需要的部署和管理水平各異。

Arm Corstone-320 Arm? Corstone?-320是Arm新推出的全新物聯(lián)網(wǎng)參考設(shè)計平臺，助力我們的生態(tài)伙伴掌握物聯(lián)網(wǎng)市場激動人心的新機遇。該平臺結(jié)合了領(lǐng)先的嵌入式 IP、軟件、工具和支持，其中包含了Arm虛擬硬件 (Arm Virtual Hardware)。該平臺不僅能加快語音、音頻和視覺系統(tǒng)的部署，還能夠降低系統(tǒng)級芯片 (SoC) 設(shè)計人員和軟件開發(fā)者所面臨的復(fù)雜性。

除了降低復(fù)雜性和加快產(chǎn)品上市進(jìn)程，Corstone-320 還帶來了以下優(yōu)勢：

• 提高性能：通過提升計算吞吐量，為各種物聯(lián)網(wǎng)設(shè)備和用例提供合適的算力。
• 改善內(nèi)存帶寬：對數(shù)據(jù)寬度和內(nèi)存通道等內(nèi)存帶寬方面進(jìn)行改善，從而為像素流提供全系統(tǒng)范圍的互連帶寬。
• 提高能效：提高可持續(xù)性，以及延長電池續(xù)航時間。
• 一系列電源模式：包括睡眠模式、待機模式和電源島。
• 降低設(shè)計成本，并縮短工程時間：通過“開箱即用的” Corstone-320，設(shè)計人員和工程師能夠立即啟動 SoC 設(shè)計。
• 更多的安全功能：包括啟動時和運行時的安全機制，都集成至系統(tǒng)中。
• 可觀察性：Corstone-320 中內(nèi)置了所有組件的全面調(diào)試和跟蹤功能。
• 改進(jìn)的靈活性：Corstone-320 設(shè)計針對不同的細(xì)分市場、設(shè)備和用例中進(jìn)行定制。
• 一系列的軟件支持：包括大量開源軟件等一系列的軟件支持，可降低總體成本和復(fù)雜性。

Corstone-320 硬件

在硬件方面，物聯(lián)網(wǎng)參考設(shè)計平臺 Corstone-320 集成了以下前沿的 Arm IP： ? Arm Cortex?-M85 ? Arm Mali?-C55 ISP ? Arm Ethos?-U85 NPU ? Arm CoreLink? DMA-350 Cortex-M85 搭載 Arm Helium? 技術(shù)，也是性能最高的Cortex-M 處理器。尤其是視覺應(yīng)用的理想之選。其優(yōu)勢包括：

• 高能效：能為需要長期運行的攝像頭提供高能效。
• 高性能：能為需要實時捕獲高質(zhì)量視頻和音頻的攝像頭帶來高性能表現(xiàn)。
• 安全性：可抵御黑客攻擊及其他形式的網(wǎng)絡(luò)攻擊。
• 靈活性：可用于大量的攝像頭和視覺用例。

對于采用 Cortex-M 的應(yīng)用而言，若想顯著提升性能和強化安全性，升級到 Cortex-M85 是一條順理成章的路徑。除了 Arm TrustZone? 技術(shù)，該處理器還集成了指針驗證和分支目標(biāo)識別 (PACBTI) 安全技術(shù)，可抵御返回導(dǎo)向編程 (ROP) 和跳轉(zhuǎn)導(dǎo)向編程 (JOP) 的安全漏洞攻擊。

Ethos-U85 是 Arm 的第三代 NPU。與上一代產(chǎn)品相比，其性能提升四倍，能效提高 20%。該 NPU在物聯(lián)網(wǎng)應(yīng)用中具有可擴展性 ，支持 128 至 2048 個 MAC 單元的配置，可在1GHz時提供高達(dá)4 TOPs的機器學(xué)習(xí)（ML）加速。用于 AI 推理時，Ethos-U85 還支持 Transformer 架構(gòu)和卷積神經(jīng)網(wǎng)絡(luò) (CNN)。

Mali-C55絕佳地集成了高分辨率圖像處理能力（可支持 4800 萬像素的圖像分辨率）、能效、可配置性及無與倫比的圖像質(zhì)量，適用于廣泛的物聯(lián)網(wǎng)視覺應(yīng)用。同時，高度可配置的直接內(nèi)存訪問控制器 DMA-350，可實現(xiàn)高效的數(shù)據(jù)移動，從而提高系統(tǒng)性能和能效，并支持 Arm TrustZone技術(shù)。

Corstone-320 套件還涵蓋了技術(shù)參考手冊、配置和渲染腳本，以及驗證報告。這意味著 ASIC 開發(fā)者能夠根據(jù)特定細(xì)分市場的要求構(gòu)建 SoC，或在開始定制設(shè)計前，使用此套件來探索 Arm 的計算設(shè)計概念。

Corstone-320 軟件

Corstone-320 軟件套件包括固件、所有 IP 的驅(qū)動程序、中間件、實時操作系統(tǒng) (RTOS) 和云集成、ML 模型和參考應(yīng)用程序。這意味著軟件開發(fā)者能夠輕松選擇其特定細(xì)分市場所需的組件，并使用所選開發(fā)工具為該設(shè)備構(gòu)建物聯(lián)網(wǎng)堆棧。開源應(yīng)用程序演示了關(guān)鍵詞識別、語音識別和目標(biāo)識別用例。與此同時，Corstone-320 中包含的原型平臺能使軟件開發(fā)與 SoC 設(shè)計并行啟動。 軟件中還包含了固定虛擬平臺 (FVP)，用于對構(gòu)成完整 FPGA 系統(tǒng)的外設(shè)進(jìn)行建模。通過使用 FVP，軟件開發(fā)者無需硬件即可開始開發(fā)應(yīng)用，從而加快開發(fā)速度。

Arm 擁有全球最大規(guī)模的 AI 合作伙伴生態(tài)系統(tǒng)，這些合作伙伴提供 ML 模型和軟件，滿足多樣化的物聯(lián)網(wǎng)設(shè)備需求，覆蓋了從嵌入式系統(tǒng)的低功耗傳感器到未來環(huán)境體驗的高性能物聯(lián)網(wǎng)應(yīng)用。

解鎖物聯(lián)網(wǎng)的創(chuàng)新機遇

語音、音頻和視覺與物聯(lián)網(wǎng)設(shè)備的持續(xù)集成帶來了巨大的創(chuàng)新機遇。通過賦能這些設(shè)備以更加復(fù)雜的方式與其周圍環(huán)境交互、解讀和感知，從前難以想象的廣泛新應(yīng)用和功能正逐步被發(fā)掘。而這將推動物聯(lián)網(wǎng)設(shè)備和技術(shù)實現(xiàn)重大的創(chuàng)新與變革。

Corstone-320 正處于這個變革的前沿，為物聯(lián)網(wǎng)市場提供低成本、低功耗、高性能的智能參考設(shè)計平臺。通過集成式軟件與硬件相結(jié)合，該平臺將在各個用例和場景中顯著加快產(chǎn)品上市進(jìn)程，并降低 SoC 設(shè)計與軟件開發(fā)的復(fù)雜性。這將有助于生態(tài)系統(tǒng)以前所未有的速度擴展物聯(lián)網(wǎng)應(yīng)用。