深蕾半導(dǎo)體ASTRA AI詳細(xì)介紹

一、ASTRA AI是什么

ASTRA AI芯片是一種集成了多種計(jì)算單元（包括NPU/uNPU、GPU、CPU、DSP等）的異構(gòu)計(jì)算系統(tǒng)級(jí)芯片（SOC），專(zhuān)為處理復(fù)雜的人工智能（AI）任務(wù)而設(shè)計(jì)。這種設(shè)計(jì)使得ASTRA AI芯片能夠在單個(gè)芯片上高效地執(zhí)行多種不同類(lèi)型的計(jì)算任務(wù)，從而滿(mǎn)足各種AI應(yīng)用場(chǎng)景的需求。

二、主要組成部分解析

1.NPU/uNPU（Neural Processing Unit/micro Neural Processing Unit）

NPU是專(zhuān)門(mén)用于神經(jīng)網(wǎng)絡(luò)加速的處理器，能夠高效執(zhí)行深度學(xué)習(xí)算法中的矩陣運(yùn)算和卷積操作。

uNPU指的是微型的NPU，設(shè)計(jì)用于處理較小規(guī)模的神經(jīng)網(wǎng)絡(luò)或嵌入式系統(tǒng)中的AI任務(wù)，以節(jié)省功耗和成本。

2.GPU（Graphics Processing Unit）：

GPU原本用于圖形渲染，但因其強(qiáng)大的并行處理能力，現(xiàn)在也被廣泛用于AI計(jì)算，特別是加速大規(guī)模矩陣運(yùn)算和圖像處理。

3.CPU（Central Processing Unit）：

CPU是系統(tǒng)的主控中心，負(fù)責(zé)執(zhí)行各種指令，包括操作系統(tǒng)、應(yīng)用程序以及AI任務(wù)的調(diào)度和管理。

4.DSP（Digital Signal Processor）：

DSP專(zhuān)門(mén)設(shè)計(jì)用于處理數(shù)字信號(hào)，如音頻和視頻數(shù)據(jù)。在AI應(yīng)用中，DSP可以加速信號(hào)處理和特征提取等任務(wù)。

三、多模態(tài)AI算法支持

ASTRA AI芯片支持多模態(tài)AI算法，意味著它能夠同時(shí)處理來(lái)自不同來(lái)源和類(lèi)型的數(shù)據(jù)，如圖像、語(yǔ)音、文本等。這種多模態(tài)處理能力對(duì)于構(gòu)建復(fù)雜、全面的AI系統(tǒng)至關(guān)重要，因?yàn)樗梢哉蟻?lái)自多個(gè)傳感器的信息，從而做出更準(zhǔn)確的決策。

1.視覺(jué)算法：用于圖像識(shí)別、物體檢測(cè)、場(chǎng)景理解等任務(wù)。

2.語(yǔ)音算法：支持語(yǔ)音識(shí)別、語(yǔ)音合成、情感分析等語(yǔ)音處理任務(wù)。

3.大模型支持：能夠接入并高效運(yùn)行各種大型AI模型，如深度學(xué)習(xí)模型、自然語(yǔ)言處理模型等，從而滿(mǎn)足復(fù)雜應(yīng)用場(chǎng)景的需求。

四、本地AI算力平臺(tái)五大特點(diǎn)

為了滿(mǎn)足構(gòu)建新一代智能物聯(lián)網(wǎng)設(shè)備的客戶(hù)需求，深蕾半導(dǎo)體推出了可擴(kuò)展的智能邊緣處理器產(chǎn)品組合Astra系列。全新的Astra本地AI算力平臺(tái)產(chǎn)品具備五大特點(diǎn)助力客戶(hù)構(gòu)建新一代智能物聯(lián)網(wǎng)產(chǎn)品：

差異化計(jì)算解決方案

提供一系列節(jié)能多模的AI MPU芯片，以及高性能AI及MCU，為家庭自動(dòng)化、智能家電、過(guò)程控制、可穿戴設(shè)備、安全、數(shù)字標(biāo)牌、流媒體和企業(yè)會(huì)議等市場(chǎng)應(yīng)用提供可擴(kuò)展的、差異化的計(jì)算解決方案。

自適應(yīng)AI框架

通過(guò)開(kāi)放、跨平臺(tái)、工具化、建模和優(yōu)化的自適應(yīng)AI框架，從 “讓人工智能發(fā)揮作用” 變?yōu)?“與人工智能合作”。

統(tǒng)一的軟件體驗(yàn)

全面的板級(jí)支持包（支持Linux，Android和領(lǐng)先的RTOS）提供開(kāi)放、一致的跨平臺(tái)體驗(yàn)。它基于標(biāo)準(zhǔn)的操作系統(tǒng)接口、安全架構(gòu)和加速方法構(gòu)建。用戶(hù)可以基于熟悉的開(kāi)發(fā)環(huán)境縮短評(píng)估和決策周期

廣泛的合作伙伴解決方案生態(tài)系統(tǒng)

客戶(hù)可以與行業(yè)領(lǐng)先的合作伙伴公司（從ODM和ISV到服務(wù)提供商和系統(tǒng)集成商）一起構(gòu)建市場(chǎng)就緒的系統(tǒng)和解決方案堆棧。從用于企業(yè)和消費(fèi)市場(chǎng)的單板計(jì)算機(jī)、流媒體、平板電腦、顯示器和用于教育和商業(yè)的交互式 A/V 會(huì)議系統(tǒng)，到支持計(jì)算的連接模塊，ASTRA產(chǎn)品系列使各種物聯(lián)網(wǎng)平臺(tái)成為可能。

優(yōu)秀的無(wú)線(xiàn)連接性能

業(yè)界一流、行業(yè)認(rèn)可的無(wú)線(xiàn)連接性能，支持Wi-Fi、藍(lán)牙、BLE、802.15.4和GPS/GNSS等，并通過(guò)標(biāo)準(zhǔn)的 Linux 和 RTOS 軟件框架和協(xié)議（如 Matter）實(shí)現(xiàn)。

五、支持多種方式接入AI推理

1.HDMI RX：通過(guò)HDMI接收接口，ASTRA可以接入高清視頻信號(hào)，進(jìn)行視頻內(nèi)容的實(shí)時(shí)分析和處理。這種方式適用于需要處理高清視頻輸入的場(chǎng)景，如安防監(jiān)控、視頻會(huì)議等。

2.MIPI/USB攝像頭：MIPI和USB是兩種常見(jiàn)的攝像頭接口標(biāo)準(zhǔn)。ASTRA支持通過(guò)這兩種接口接入攝像頭，獲取實(shí)時(shí)視頻流，并應(yīng)用AI算法進(jìn)行圖像識(shí)別、目標(biāo)跟蹤等任務(wù)。這種方式在自動(dòng)售賣(mài)機(jī)、智慧零售等領(lǐng)域有廣泛應(yīng)用。

3.RTSP/RTMP流：RTSP（Real Time Streaming Protocol）和RTMP（Real Time Messaging Protocol）是兩種常用的流媒體傳輸協(xié)議。ASTRA支持通過(guò)這兩種協(xié)議接入網(wǎng)絡(luò)視頻流，進(jìn)行遠(yuǎn)程視頻內(nèi)容的分析和處理。這種方式適用于需要處理網(wǎng)絡(luò)視頻內(nèi)容的場(chǎng)景，如遠(yuǎn)程監(jiān)控、在線(xiàn)教育等。

4.本地視頻播放：ASTRA支持對(duì)存儲(chǔ)在本地設(shè)備上的視頻文件進(jìn)行播放和分析。這種方式適用于需要處理本地視頻文件的場(chǎng)景，如視頻編輯、視頻內(nèi)容審核等。

5.靜態(tài)圖像：ASTRA還支持對(duì)靜態(tài)圖像進(jìn)行分析和處理。這可以用于圖像識(shí)別、圖像分類(lèi)、圖像增強(qiáng)等多種應(yīng)用場(chǎng)景。

6.麥克風(fēng)：通過(guò)麥克風(fēng)接入，ASTRA可以接收音頻信號(hào)，進(jìn)行語(yǔ)音識(shí)別、語(yǔ)音合成等任務(wù)。這在智慧客服、智能家居等領(lǐng)域有重要應(yīng)用。

六、芯片系列以及典型應(yīng)用場(chǎng)景

ASTRA AI芯片系列中，包含了SL1680型號(hào)、SL1640型號(hào)、SL1620型號(hào)、SR110型號(hào)。應(yīng)用場(chǎng)景有：

1.自動(dòng)售賣(mài)：通過(guò)接入攝像頭和麥克風(fēng)，ASTRA可以實(shí)時(shí)分析顧客的行為和需求，優(yōu)化商品陳列和售賣(mài)策略。

2.智慧顯示牌：結(jié)合視頻流和靜態(tài)圖像的處理能力，ASTRA可以根據(jù)環(huán)境變化和觀眾需求動(dòng)態(tài)調(diào)整顯示內(nèi)容，提升用戶(hù)體驗(yàn)。

3.安檢設(shè)備：通過(guò)對(duì)行李、人員等物品進(jìn)行圖像識(shí)別和分析，ASTRA可以幫助安檢人員快速發(fā)現(xiàn)潛在威脅，提高安檢效率。

4.缺陷檢測(cè)：在工業(yè)生產(chǎn)線(xiàn)上，ASTRA可以對(duì)產(chǎn)品進(jìn)行實(shí)時(shí)圖像檢測(cè)，發(fā)現(xiàn)缺陷并及時(shí)報(bào)警，確保產(chǎn)品質(zhì)量。

5.事件預(yù)警：結(jié)合視頻流和音頻信號(hào)的分析能力，ASTRA可以實(shí)時(shí)監(jiān)測(cè)環(huán)境中的異常情況，并及時(shí)發(fā)出預(yù)警信號(hào)。

6.自動(dòng)化運(yùn)維：ASTRA可以通過(guò)對(duì)系統(tǒng)日志、監(jiān)控視頻等數(shù)據(jù)的分析，幫助運(yùn)維人員快速定位和解決問(wèn)題，提高運(yùn)維效率。

7.多媒體交互：通過(guò)語(yǔ)音識(shí)別和合成技術(shù)，ASTRA可以實(shí)現(xiàn)與用戶(hù)的自然語(yǔ)言交互，提供更加便捷和智能的服務(wù)體驗(yàn)。

8.視頻內(nèi)容分析：ASTRA可以對(duì)視頻內(nèi)容進(jìn)行深度分析，提取關(guān)鍵信息并生成分析報(bào)告，為決策提供有力支持。

綜上所述，

ASTRA憑借其強(qiáng)大的AI推理能力和多樣化的接入方式，

在多個(gè)領(lǐng)域都有著廣泛的應(yīng)用前景。