高帶寬內(nèi)存HBM需求猛漲，原因還是……

ChatGPT已經(jīng)從下游AI應(yīng)用“火”到了上游芯片領(lǐng)域，在將GPU等AI芯片推向高峰之外，也極大帶動(dòng)了市場(chǎng)對(duì)新一代內(nèi)存芯片HBM（高帶寬內(nèi)存)的需求。據(jù)悉，2023年開年以來三星、SK海力士的HBM訂單就快速增加，價(jià)格也水漲船高。有市場(chǎng)人士透露近期HBM3規(guī)格DRAM價(jià)格上漲了5倍。這也為寒冬中的存儲(chǔ)器市場(chǎng)帶來了一抹春色。

ChatGPT爆紅提升HBM需求

作為一款自然語(yǔ)言類AI應(yīng)用，ChatGPT不僅對(duì)芯片算力有著巨大需求，對(duì)內(nèi)存技術(shù)的需求也極高，比如ChatGPT上線應(yīng)用以來，擁有高速數(shù)據(jù)傳輸速度的HBM內(nèi)存芯片幾乎成為ChatGPT的必備配置，市場(chǎng)需求激增。有消息稱，2023年開年以來三星、SK海力士HBM訂單就快速增加，價(jià)格也水漲船高。

有市場(chǎng)人士透露英偉達(dá)已經(jīng)將SK海力士的HBM3安裝到其高性能GPU H100上，而H100已開始供應(yīng)ChatGPT服務(wù)器所需。近期最新一代高帶寬內(nèi)存HBM3的價(jià)格上漲了5倍。

SK海力士HBM設(shè)計(jì)團(tuán)隊(duì)項(xiàng)目負(fù)責(zé)人樸明宰撰文介紹，HBM是一種可以實(shí)現(xiàn)高帶寬的高附加值DRAM產(chǎn)品，適用于超級(jí)計(jì)算機(jī)、AI加速器等對(duì)性能要求較高的計(jì)算系統(tǒng)。隨著計(jì)算技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)的應(yīng)用日漸廣泛，而機(jī)器學(xué)習(xí)的基礎(chǔ)是自20世紀(jì)80年代以來一直作為研究熱點(diǎn)的神經(jīng)網(wǎng)絡(luò)模型。作為速度最快的DRAM產(chǎn)品，HBM在克服計(jì)算技術(shù)的局限性方面發(fā)揮著關(guān)鍵的作用。

此前，盡管HBM具有出色的性能，但與一般DRAM相比，其應(yīng)用較少。這是因?yàn)镠BM需要復(fù)雜的生產(chǎn)過程，平均售價(jià)至少是DRAM的三倍。但AI服務(wù)的擴(kuò)展正在扭轉(zhuǎn)這樣的局面。據(jù)悉，目前已經(jīng)有超過25000塊英偉達(dá)計(jì)算卡加入到了深度學(xué)習(xí)的訓(xùn)練中。未來，隨著不斷接入ChatGPT等生成式AI需求大增，HBM的需求也將呈現(xiàn)出暴增的態(tài)勢(shì)。三星內(nèi)存副總裁Kim Jae-joon便指出，ChatGPT等基于自然語(yǔ)言技術(shù)的交互式AI應(yīng)用的發(fā)展有利于提升內(nèi)存需求。高效且大量的運(yùn)算能力、高容量的內(nèi)存，是AI學(xué)習(xí)與推論模型的根基。

存儲(chǔ)巨頭齊爭(zhēng)高性能市場(chǎng)

去年以來，受消費(fèi)電子產(chǎn)品需求下滑等多種因素影響，存儲(chǔ)行業(yè)進(jìn)入了下行周期。SK海力士全年的凈利潤(rùn)降至2.4萬億韓元，同比下滑75%。三星電子存儲(chǔ)業(yè)務(wù)的營(yíng)收與營(yíng)業(yè)利潤(rùn)，在去年第三季度和第四季度也是同比環(huán)比雙雙下滑。TrendForce集邦咨詢預(yù)估2023年第一季度DRAM價(jià)格仍將持續(xù)下探。其中，PC及服務(wù)器用DRAM跌幅仍是近兩成。HBM的需求火爆不啻于一劑“強(qiáng)心針”。這種情況下，SK海力士、三星電子、美光等內(nèi)存廠商均表示將致力于HBM的開發(fā)。企業(yè)之間的產(chǎn)品開發(fā)競(jìng)爭(zhēng)也隨之升溫。

2013年SK海力士將TSV技術(shù)應(yīng)用于DRAM，在業(yè)界首次成功研發(fā)出第一代HBM芯片。此后，SK海力士相繼推出HBM2、HBM2E、HBM3數(shù)代產(chǎn)品。據(jù)悉，SK海力士正在研發(fā)HBM4，預(yù)計(jì)新一代產(chǎn)品將能夠更廣泛地應(yīng)用于高性能數(shù)據(jù)中心、超級(jí)計(jì)算機(jī)和AI等領(lǐng)域。SK海力士CFO金祐賢表示，公司正關(guān)注著市場(chǎng)上出現(xiàn)以AI為基礎(chǔ)的新服務(wù)器替換存儲(chǔ)器需求的積極信號(hào)。公司計(jì)劃持續(xù)投資DDR5/LPDDR5、HBM3等主力產(chǎn)品的量產(chǎn)和未來高成長(zhǎng)領(lǐng)域。

三星電子雖然在HBM的開發(fā)上落后一步，但也在尋找新的突破口。據(jù)悉，三星電子正在開發(fā)集成AI處理器新一代存內(nèi)計(jì)算芯片HBM-PIM。北京大學(xué)信息科學(xué)技術(shù)學(xué)院微納電子學(xué)系副教授葉樂表示，存內(nèi)計(jì)算芯片是將AI引擎引入存儲(chǔ)庫(kù)，將處理操作轉(zhuǎn)移到HBM本身，將有效加大數(shù)據(jù)傳輸帶寬，提高內(nèi)存的處理速度。存內(nèi)計(jì)算技術(shù)正在實(shí)現(xiàn)產(chǎn)品化。目前基于SRAM的存內(nèi)計(jì)算，已經(jīng)進(jìn)入到產(chǎn)品化的前夜，DRAM存內(nèi)計(jì)算適用于大算力AI芯片，因此還需要解決其他一系列的技術(shù)難題。

上下游發(fā)力搶占先機(jī)

與HBM相關(guān)的上下游企業(yè)也在發(fā)力，以期搶占先機(jī)。AMD在HBM的誕生與發(fā)展過程中功不可沒。最早是AMD意識(shí)到DDR的局限性并產(chǎn)生開發(fā)堆疊內(nèi)存的想法，其后與SK海力士聯(lián)手研發(fā)了HBM，并在其Fury顯卡采用全球首款HBM。ISSCC 2023國(guó)際固態(tài)電路大會(huì)上的消息，AMD考慮在Instinct系列加速卡已經(jīng)整合封裝HBM高帶寬內(nèi)存的基礎(chǔ)上，在后者之上繼續(xù)堆疊DRAM內(nèi)存，可以在一些關(guān)鍵算法內(nèi)核可以直接在整合內(nèi)存內(nèi)執(zhí)行，而不必在CPU和獨(dú)立內(nèi)存之間往復(fù)通信傳輸，從而提升AI處理的性能，并降低功耗。

英偉達(dá)同樣重視處理器與內(nèi)存間的協(xié)同，一直在要求SK海力士提供最新的HBM3內(nèi)存芯片。據(jù)悉，目前已經(jīng)有超過25000塊英偉達(dá)計(jì)算卡加入到了深度學(xué)習(xí)的訓(xùn)練中。如果所有的互聯(lián)網(wǎng)企業(yè)都在搜索引擎中加入ChatGPT這樣的機(jī)器人，那么計(jì)算卡以及相應(yīng)的服務(wù)器的需求量將會(huì)達(dá)到50萬塊，也將連同帶動(dòng)HBM的需求量大幅增長(zhǎng)。

IP廠商亦已先行布局HBM3。去年，Synopsys推出首個(gè)完整的HBM3 IP解決方案，包括用于2.5D多芯片封裝系統(tǒng)的控制器、PHY（物理層芯片）和驗(yàn)證IP。HBM3 PHY IP基于5nm制程打造，每個(gè)引腳的速率可達(dá)7200 Mbps，內(nèi)存帶寬最高可提升至921GB/s。Rambus也推出支持HBM3的內(nèi)存接口子系統(tǒng)，內(nèi)含完全集成的PHY和數(shù)字控制器，數(shù)據(jù)傳輸速率達(dá)8.4 Gbps，可提供超過1TB/s的帶寬。

Rambus IP核產(chǎn)品營(yíng)銷高級(jí)總監(jiān)Frank Ferro此前在接受采訪時(shí)指出，HBM現(xiàn)在依舊處于相對(duì)早期的階段，其未來還有很長(zhǎng)的一段路要走。而可預(yù)見的是，隨著越來越多的廠商在AI和機(jī)器學(xué)習(xí)等領(lǐng)域不斷發(fā)力，內(nèi)存產(chǎn)品設(shè)計(jì)的復(fù)雜性正在快速上升，并對(duì)帶寬提出了更高的要求，不斷上升的寬帶需求將持續(xù)驅(qū)動(dòng)HBM發(fā)展。