加入星計(jì)劃，您可以享受以下權(quán)益：

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長(zhǎng)期合作伙伴
立即加入

推理芯片

加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論
  • Groq芯片的創(chuàng)新意義
    Groq芯片的創(chuàng)新意義
    前一陣子，Groq芯片刷屏了，據(jù)說Groq芯片計(jì)算速度遠(yuǎn)遠(yuǎn)超過英偉達(dá)GPU，經(jīng)網(wǎng)友測(cè)試，Groq每秒生成速度接近500 tok/s，碾壓GPT-4的40 tok/s。Groq是一家成立于2016年的AI創(chuàng)企，據(jù)其官網(wǎng)介紹，LPU是一種專為AI推理所設(shè)計(jì)的芯片。LPU的工作原理與GPU截然不同。它采用了時(shí)序指令集計(jì)算機(jī)（Temporal Instruction Set Computer）架構(gòu)，這意味著它無需像使用高帶寬存儲(chǔ)器（HBM）的GPU那樣頻繁地從內(nèi)存中加載數(shù)據(jù)。
  • AI推理速度提升超10倍，Groq LPU能否取代英偉達(dá)GPU？
    AI推理速度提升超10倍，Groq LPU能否取代英偉達(dá)GPU？
    2月20日消息，美國(guó)人工智能初創(chuàng)公司Groq最新推出的面向云端大模型的推理芯片引發(fā)了業(yè)內(nèi)的廣泛關(guān)注。其最具特色之處在于，采用了全新的Tensor Streaming Architecture (TSA) 架構(gòu)，以及擁有超高帶寬的SRAM，從而使得其對(duì)于大模型的推理速度提高了10倍以上，甚至超越了英偉達(dá)的GPU。
    3435
    02/21 14:30
  • 產(chǎn)業(yè)丨AI推理芯片，下一個(gè)[群模共舞]的入場(chǎng)券
    產(chǎn)業(yè)丨AI推理芯片，下一個(gè)[群模共舞]的入場(chǎng)券
    生產(chǎn)大模型并不是終極目標(biāo)，讓它在各行各業(yè)中大展拳腳、發(fā)揮出實(shí)用價(jià)值才是最終追求。
  • 云天勵(lì)飛發(fā)布大模型推理芯片：14nm Chiplet架構(gòu)，國(guó)內(nèi)首創(chuàng)！
    云天勵(lì)飛發(fā)布大模型推理芯片：14nm Chiplet架構(gòu)，國(guó)內(nèi)首創(chuàng)！
    11月15日，在第25界高交會(huì)上，云天勵(lì)飛重磅發(fā)布新一代自主可控的面向邊緣人工智能（AI）推理芯片DeepEdge10系列，最高算力可達(dá)48TOPS，支持D2D/C2C Mash互聯(lián)擴(kuò)展，可以滿足千億參數(shù)的大模型部署需求。
  • 大模型需求暴增，NPU有望在端邊落地部署
    大模型需求暴增，NPU有望在端邊落地部署
    ChatGPT的火爆，讓人們意識(shí)到AI其實(shí)有著更高的上限，也讓業(yè)界更多關(guān)注到其背后的Transformer大模型。除了云端、除了自然語言處理，業(yè)界正在思考：是否可以讓Transformer在端側(cè)、邊緣側(cè)高效部署？是否可以讓Transformer在計(jì)算機(jī)視覺領(lǐng)域發(fā)揮出更大潛能？ 可能嗎？愛芯元智已經(jīng)開始了這一嘗試。 Transformer何方神圣？ GPT大模型，全稱Generative Pre-t