HBM4技術(shù)競(jìng)賽，進(jìn)入白熱化

作者：豐寧

HBM（HighBandwidth Memory，高帶寬內(nèi)存）是一款新型的CPU/GPU內(nèi)存芯片，其實(shí)就是將很多個(gè)DDR芯片堆疊在一起后和GPU封裝在一起，實(shí)現(xiàn)大容量，高位寬的DDR組合陣列。該內(nèi)存技術(shù)突破了內(nèi)存容量與帶寬瓶頸，被視為新一代DRAM解決方案，也契合了半導(dǎo)體技術(shù)小型化、集成化的發(fā)展趨勢(shì)。

過(guò)去10年里，HBM技術(shù)性能不斷升級(jí)迭代，已經(jīng)成為高性能計(jì)算領(lǐng)域重要的技術(shù)基石之一。2023年初以來(lái)，以ChatGPT為代表的AI大模型催生了巨量的算力需求，使HBM成為整個(gè)存儲(chǔ)芯片行業(yè)為數(shù)不多的比較景氣的細(xì)分市場(chǎng)。在當(dāng)下的HBM市場(chǎng)有兩大熱詞，一個(gè)是“HBM3缺貨”另一個(gè)便是“HBM4技術(shù)競(jìng)賽”。HBM3缺貨的號(hào)角已經(jīng)吹響很久。

近日SK海力士CEO郭魯正透露，公司今年的HBM產(chǎn)能已經(jīng)全部售罄，明年訂單也基本售罄。三星電子也透露，HBM產(chǎn)能已售罄。美光科技也在日前的財(cái)報(bào)電話會(huì)議上透露，其HBM產(chǎn)品已全部售罄，且2025年的大部分產(chǎn)能也已被預(yù)訂。

盡管HBM產(chǎn)能的緊張狀況日益凸顯，三大原廠也并未因此而減緩新技術(shù)開(kāi)發(fā)的步伐，反而將HBM4的技術(shù)競(jìng)賽推向了更高的熱度。那么HBM4較HBM3有哪些不同？HBM4又能給我們帶來(lái)哪些驚喜？HBM4的推進(jìn)是否會(huì)影響HBM3未來(lái)產(chǎn)能開(kāi)出？在此之前，先來(lái)了解一下HBM4。

?01、HBM4亮點(diǎn)幾何？

據(jù)悉，自2015年以來(lái)，從HBM1到HBM3e各種更新和改進(jìn)中，HBM在所有迭代中都保留了相同的1024位(每個(gè)堆棧)接口，即具有以相對(duì)適中的時(shí)鐘速度運(yùn)行的超寬接口。

然而，隨著內(nèi)存?zhèn)鬏斔俾室蟛粩嗵岣?，尤其是在DRAM單元的基礎(chǔ)物理原理沒(méi)有改變的情況下，這一速度將無(wú)法滿足未來(lái)AI場(chǎng)景下的數(shù)據(jù)傳輸要求。為此，下一代HBM4需要對(duì)高帶寬內(nèi)存技術(shù)進(jìn)行更實(shí)質(zhì)性的改變，即從更寬的2048位內(nèi)存接口開(kāi)始。

接口寬度從每堆棧1024位增加到每堆棧2048位，為HBM4帶來(lái)突破性變革。采用2048位內(nèi)存接口，理論上也可以使傳輸速度再次翻倍。例如，英偉達(dá)的旗艦Hopper H100 GPU，搭配的六顆HBM3達(dá)到6144-bit位寬。如果內(nèi)存接口翻倍到2048位，英偉達(dá)理論上可以將芯片數(shù)量減半到三個(gè)，并獲得相同的性能。

HBM4在堆棧的層數(shù)上也有所變化，除了首批的12層垂直堆疊，預(yù)計(jì)2027年存儲(chǔ)器廠商還會(huì)帶來(lái)16層垂直堆疊。堆疊技術(shù)的進(jìn)步意味著在同一物理空間內(nèi)可以容納更多的內(nèi)存單元，從而顯著提高內(nèi)存容量和帶寬。這種高密度堆疊技術(shù)對(duì)于需要大容量和高速訪問(wèn)的應(yīng)用來(lái)說(shuō)是一個(gè)巨大的優(yōu)勢(shì)，特別是在數(shù)據(jù)中心和超級(jí)計(jì)算機(jī)中。作為對(duì)比，HBM3的堆疊層數(shù)主要為8層/12層。

此外，HBM還會(huì)往更為定制化的方向發(fā)展，不僅排列在SoC主芯片旁邊，部分還會(huì)轉(zhuǎn)向堆棧在SoC主芯片之上。隨著技術(shù)的進(jìn)步，HBM4E 有望帶來(lái)更低的功耗。這將有助于減少系統(tǒng)能耗，降低發(fā)熱，延長(zhǎng)設(shè)備的電池壽命。與此同時(shí)，HBM4E 內(nèi)存有望在各種領(lǐng)域得到應(yīng)用，包括人工智能、高性能計(jì)算、數(shù)據(jù)中心、圖形處理等領(lǐng)域，為這些領(lǐng)域帶來(lái)更高的性能和效率。

?02、各存儲(chǔ)巨頭各展神通

SK海力士：采用MR-MUF等先進(jìn)封裝技術(shù)、攜手臺(tái)積電

在技術(shù)層面，SK海力士將繼續(xù)采用先進(jìn)的MR-MUF技術(shù)，從而實(shí)現(xiàn) 16 層堆疊。

在MR-MUF（批量回流模制底部填充）中，批量回流焊（MR）是通過(guò)融化堆疊芯片之間的凸塊，讓芯片互相連接的技術(shù)。模塑底部填充（MUF）是在堆疊的芯片之間填充保護(hù)材料從而提高耐久性和散熱效果的技術(shù)。使用MR-MUF，則可同時(shí)封裝多層 DRAM。與此同時(shí)SK海力士還致力于芯粒（Chiplet）及混合鍵合（Hybrid bonding）等下一代先進(jìn)封裝技術(shù)的開(kāi)發(fā)，以支持半導(dǎo)體存儲(chǔ)器和邏輯芯片之間的異構(gòu)集成，同時(shí)促進(jìn)新型半導(dǎo)體的發(fā)展。根據(jù)SK海力士最新公布的信息顯示，HBM4將比第五代HBM3E速度提升40%，而耗電量?jī)H為后者的70%。

SK海力士還計(jì)劃在HBM4基礎(chǔ)芯片上采用臺(tái)積電的先進(jìn)邏輯工藝，以便可以將附加功能封裝到有限的空間中。這也有助于 SK 海力士生產(chǎn)定制 HBM，滿足客戶對(duì)性能和功效的廣泛需求。SK海力士和臺(tái)積電還同意合作優(yōu)化SK海力士的HBM和臺(tái)積電的CoWoS（基板上晶圓芯片）技術(shù)的集成，同時(shí)合作響應(yīng)常見(jiàn)客戶與HBM相關(guān)的要求。SK 海力士總裁兼 AI 基礎(chǔ)設(shè)施負(fù)責(zé)人Justin Kim表示：“我們希望與臺(tái)積電建立強(qiáng)有力的合作伙伴關(guān)系，以幫助加快我們與客戶的開(kāi)放合作，并開(kāi)發(fā)業(yè)界性能最佳的 HBM4。”上個(gè)月，兩家公司簽署了諒解備忘錄。

三星：同步開(kāi)發(fā)混合鍵合和傳統(tǒng)的 TC-NCF 工藝

三星電子在 HBM4 內(nèi)存鍵合技術(shù)方面采用兩條腿走路的策略，同步開(kāi)發(fā)混合鍵合和傳統(tǒng)的 TC-NCF （thermal compression with non-conductive film非導(dǎo)電薄膜熱壓縮）工藝。混合鍵合技術(shù)作為一種新型的內(nèi)存鍵合方式，相較于傳統(tǒng)的鍵合工藝，具有顯著的優(yōu)勢(shì)。它摒棄了在DRAM內(nèi)存層間添加凸塊的繁瑣步驟，直接通過(guò)銅對(duì)銅的連接方式實(shí)現(xiàn)上下兩層的連接。這種創(chuàng)新的方式不僅提高了信號(hào)傳輸速率，更好地滿足了AI計(jì)算對(duì)高帶寬的迫切需求，同時(shí)也降低了DRAM層間距，使得HBM模塊的整體高度得到縮減?；旌湘I合技術(shù)的成熟度和應(yīng)用成本一直是業(yè)界關(guān)注的焦點(diǎn)。為了解決這一問(wèn)題，三星電子在HBM4內(nèi)存鍵合技術(shù)方面采取了多元化的策略。除了積極推進(jìn)混合鍵合技術(shù)的研究與應(yīng)用，三星電子還同步開(kāi)發(fā)傳統(tǒng)的TC-NCF工藝，以實(shí)現(xiàn)技術(shù)多樣化，降低風(fēng)險(xiǎn)，并提升整體競(jìng)爭(zhēng)力。

從技術(shù)上看，TC-NCF是一種與MR-MUF略有不同的技術(shù)。在每次堆疊芯片時(shí)，都會(huì)在各層之間放置一層不導(dǎo)電的粘合膜。該薄膜是一種聚合物材料，用于使芯片彼此絕緣并保護(hù)連接點(diǎn)免受撞擊。這種方法的優(yōu)點(diǎn)是可以最大限度地減少隨著層數(shù)增加和芯片厚度減小而可能發(fā)生的翹曲，使其更適合構(gòu)建更高的堆棧。據(jù)悉，SK海力士在第二代HBM之前也使用NCF，但從第三代（HBM2E）開(kāi)始改用MUF（特別是MR-MUF）。業(yè)內(nèi)人士認(rèn)為MUF是SK海力士能夠在HBM市場(chǎng)脫穎而出的原因。也正因此不少人士對(duì)三星的技術(shù)路線保持懷疑。不過(guò)，三星副總裁 Kim Dae-woo 表示，在最多 8 個(gè)堆疊時(shí)，MR-MUF的生產(chǎn)效率比 TC-NCF 更高，但一旦堆疊達(dá)到 12 個(gè)或以上，后者將具有更多優(yōu)勢(shì)。該副總裁還指出，當(dāng) HBM4 推出時(shí)，定制請(qǐng)求預(yù)計(jì)會(huì)增加。

美光：HBMnext或出奇招

在HBM芯片上，美光科技也加快了追趕兩家韓國(guó)存儲(chǔ)巨頭的步伐。不過(guò)在技術(shù)細(xì)節(jié)上，美光并未公布太多信息。關(guān)于未來(lái)的布局，美光披露了暫名為HBMnext的下一代HBM內(nèi)存，業(yè)界猜測(cè)這有可能便是其HBM 4。美光預(yù)計(jì)HBMNext將提供36 GB和64 GB容量，這意味著多種配置，例如12-Hi 24 Gb堆棧(36 GB)或16-Hi 32 Gb堆棧(64 GB)。至于性能，美光宣稱每個(gè)堆棧的帶寬為1.5 TB/s–2+TB/s，這意味著數(shù)據(jù)傳輸速率超過(guò)11.5 GT/s/pin。與三星和SK海力士不同，美光似乎并不打算把HBM和邏輯芯片整合到一個(gè)芯片中，在下一代HBM產(chǎn)品發(fā)展上，美光或許想要通過(guò)HBM-GPU的組合芯片形式以獲得更快的內(nèi)存訪問(wèn)速度。不過(guò)美媒表示，隨著機(jī)器學(xué)習(xí)訓(xùn)練模型的增大和訓(xùn)練時(shí)間的延長(zhǎng)，通過(guò)加快內(nèi)存訪問(wèn)速度和提高每個(gè)GPU內(nèi)存容量來(lái)縮短運(yùn)行時(shí)間的壓力也將隨之增加，而為了獲得鎖定HBM-GPU組合芯片設(shè)計(jì)（盡管具有更好的速度和容量）而放棄標(biāo)準(zhǔn)化DRAM的競(jìng)爭(zhēng)供應(yīng)優(yōu)勢(shì)，可能不是正確的前進(jìn)方式。

?03、三大原廠的HBM4量產(chǎn)時(shí)間

關(guān)于量產(chǎn)時(shí)間，SK 海力士在 5 月舉行的記者招待會(huì)上表示，其 HBM4 內(nèi)存的量產(chǎn)時(shí)間已提前到 2025 年。具體來(lái)說(shuō)，SK 海力士計(jì)劃在 2025 年下半年推出采用 12 層 DRAM 堆疊的首批 HBM4 產(chǎn)品，而 16 層堆疊 HBM 稍晚于 2026 年推出。據(jù)三星的規(guī)劃，HBM 4將在2025年生產(chǎn)樣品，2026年量產(chǎn)。美光預(yù)計(jì)將在2026年推出12和16層堆疊的HBM4，帶寬超過(guò)1.5TB/ s；到2027~2028年，還將發(fā)布12層和16層堆疊的HBM4E，帶寬可達(dá)2TB/s以上。如果按照當(dāng)前各家的計(jì)劃推進(jìn)，那么SK海力士將先人一步。

?04、臺(tái)積電也在為HBM4蓄力

除此之外，臺(tái)積電也在積極開(kāi)發(fā)與優(yōu)化其封裝技術(shù)，以支持HBM4的集成。在今年4月的北美技術(shù)研討會(huì)上，臺(tái)積電推出了下一代晶圓系統(tǒng)平臺(tái)——CoW-SoW——該平臺(tái)將實(shí)現(xiàn)與晶圓級(jí)設(shè)計(jì)的 3D 集成。該技術(shù)建立在臺(tái)積電?2020 年推出的 InFO_SoW 晶圓級(jí)系統(tǒng)集成技術(shù)的基礎(chǔ)上，該技術(shù)使其能夠構(gòu)建晶圓級(jí)邏輯處理器。

據(jù)了解，臺(tái)積電的CoW-SoW專注于將晶圓級(jí)處理器與HBM4內(nèi)存集成。下一代內(nèi)存堆棧將采用 2048 位接口，這使得將 HBM4 直接集成在邏輯芯片頂部成為可能。同時(shí)，在晶圓級(jí)處理器上堆疊額外的邏輯以優(yōu)化成本也可能是有意義的。

隨后在5月中旬的2024年歐洲技術(shù)研討會(huì)上，臺(tái)積電表示，將使用其12FFC+（12nm級(jí)）和N5（5nm級(jí)）制程工藝制造HBM4芯片。臺(tái)積電設(shè)計(jì)與技術(shù)平臺(tái)高級(jí)總監(jiān)表示：“我們正在與主要的HBM內(nèi)存合作伙伴（美光、三星、SK海力士）合作，開(kāi)發(fā)HBM4全棧集成的先進(jìn)制程，N5制程可以使HBM4以更低的功耗提供更多的邏輯功能。”

N5制程允許將更多的邏輯功能封裝到HBM4中，并實(shí)現(xiàn)非常精細(xì)的互連間距，這對(duì)于邏輯芯片上的直接鍵合至關(guān)重要，可以提高AI和HPC處理器的內(nèi)存性能。相對(duì)于N5，臺(tái)積電的12FFC+工藝（源自該公司的16nm FinFET 技術(shù)）更加經(jīng)濟(jì)，制造的基礎(chǔ)芯片能構(gòu)建12層和16層的HBM4內(nèi)存堆棧，分別提供48GB和64GB的容量。

臺(tái)積電還在優(yōu)化封裝技術(shù)，特別是CoWoS-L和CoWoS-R，以支持HBM4集成。這些先進(jìn)的封裝技術(shù)有助于組裝多達(dá)12層的HBM4內(nèi)存堆棧。新的轉(zhuǎn)接板能確保2000多個(gè)互連的高效路由，同時(shí)保持信號(hào)完整性。據(jù)臺(tái)積電介紹，到目前為止，實(shí)驗(yàn)性HBM4內(nèi)存在14mA時(shí)的數(shù)據(jù)傳輸速率已達(dá)到6 GT/s。臺(tái)積電還在與Cadence、Synopsys和Ansys等EDA公司合作，對(duì)HBM4通道信號(hào)完整性、IR/EM和熱精度進(jìn)行認(rèn)證。那么，關(guān)于HBM4未來(lái)的研發(fā)進(jìn)度，我們是否應(yīng)擔(dān)憂它會(huì)侵占HBM3的產(chǎn)能呢？畢竟，HBM3當(dāng)前的產(chǎn)能狀況已經(jīng)相當(dāng)緊張。

?05、HBM4是否會(huì)擠壓HBM3的產(chǎn)能？

眾所周知，HBM3市場(chǎng)的主要競(jìng)爭(zhēng)者也只有SK海力士、三星和美光三大家。

各家HBM3系列產(chǎn)品量產(chǎn)進(jìn)度

據(jù)悉，美光、SK海力士和三星先后在去年7月底、8月中旬、以及10月初向英偉達(dá)提供了8層垂直堆疊的HBM3E（24GB）樣品。其中美光和SK海力士的HBM3E在今年初已通過(guò)英偉達(dá)的驗(yàn)證，并獲得了訂單。今年3月SK海力士宣布，公司將超高性能用于AI的存儲(chǔ)器新產(chǎn)品HBM3E率先成功量產(chǎn)，從3月末開(kāi)始向客戶供貨。美光也宣布已開(kāi)始批量生產(chǎn)其HBM3E解決方案，其首款24GB 8H HBM3E產(chǎn)品將會(huì)用于NVIDIA H200 GPU，將于2024年第二季度開(kāi)始發(fā)貨。不過(guò)近日，據(jù)DigiTimes報(bào)道，三星HBM3E尚未通過(guò)英偉達(dá)的測(cè)試，仍需要進(jìn)一步驗(yàn)證。據(jù)了解，三星至今未能通過(guò)英偉達(dá)驗(yàn)證主要卡在臺(tái)積電的審批環(huán)節(jié)。作為英偉達(dá)數(shù)據(jù)中心GPU的制造和封裝廠，臺(tái)積電也是英偉達(dá)驗(yàn)證環(huán)節(jié)的重要參與者，傳聞采用的是基于SK海力士HBM3E產(chǎn)品設(shè)定的檢測(cè)標(biāo)準(zhǔn)，而三星的HBM3E產(chǎn)品在制造工藝上有些許差異，比如SK海力士采用了MR-RUF技術(shù)，三星則是TC-NCF技術(shù)，這多少會(huì)對(duì)一些參數(shù)有所影響。不過(guò)，5月24日，三星否認(rèn)了有關(guān)其高帶寬內(nèi)存芯片尚未通過(guò)英偉達(dá)的測(cè)試以用于這家美國(guó)芯片巨頭的人工智能處理器的報(bào)道。三星表示，其與全球各合作伙伴的 HBM 供應(yīng)測(cè)試正在“順利”進(jìn)展。三星在上個(gè)月發(fā)布的2024年第一季度財(cái)報(bào)中表示，8層垂直堆疊的HBM3E已經(jīng)在4月量產(chǎn)，并計(jì)劃在第二季度內(nèi)量產(chǎn)12層垂直堆疊的HBM3E，比原計(jì)劃里的下半年提前了。按照三星的說(shuō)法，這是為了更好地應(yīng)對(duì)生成式AI日益增長(zhǎng)的需求，所以選擇加快了新款HBM產(chǎn)品的項(xiàng)目進(jìn)度。HBM的供應(yīng)緊張局面，主要是來(lái)自于英偉達(dá)、AMD等芯片巨頭對(duì)于HPC和GPU的強(qiáng)勁需求。在此背景下，各大存儲(chǔ)龍頭紛紛掏出重金推進(jìn)HBM擴(kuò)產(chǎn)計(jì)劃。

擴(kuò)產(chǎn)動(dòng)作頻頻

SK海力士在今年4月宣布，計(jì)劃擴(kuò)大包括HBM在內(nèi)的下一代DRAM的產(chǎn)能，以應(yīng)對(duì)快速增長(zhǎng)的AI需求。公司將投資約5.3萬(wàn)億韓元（約279.84億人民幣）建設(shè)M15X晶圓廠，作為新的DRAM生產(chǎn)基地。該公司計(jì)劃于4月底開(kāi)工建設(shè)，目標(biāo)于2025年11月竣工并盡早量產(chǎn)。隨著設(shè)備投資計(jì)劃逐步增加，新生產(chǎn)基地建設(shè)總投資長(zhǎng)期將超過(guò)20萬(wàn)億韓元。值得注意的是，在此前的一次電話會(huì)議中，SK海力士表示，將擴(kuò)大HBE生產(chǎn)設(shè)施投資，對(duì)通過(guò)硅通孔（TSV）相關(guān)的設(shè)施投資將比2023年增加一倍以上，力圖將產(chǎn)能翻倍。近日，SK 海力士產(chǎn)量主管 Kwon Jae-soon表示，該企業(yè)的 HBM3E 內(nèi)存良率已接近 80%。此外，Kwon Jae-soon 也提到，SK 海力士目前已將 HBM3E 的生產(chǎn)周期減少了 50%。更短的生產(chǎn)用時(shí)意味著更高的生產(chǎn)效率，可為英偉達(dá)等下游客戶提供更充足的供應(yīng)。這位高管再次確認(rèn)?SK 海力士今年的主要重點(diǎn)是生產(chǎn) 8 層堆疊的 HBM3E，因?yàn)樵撘?guī)格目前是客戶需求的核心。三星執(zhí)行副總裁兼DRAM產(chǎn)品與技術(shù)部負(fù)責(zé)人Hwang Sang-joong在加州圣何塞舉行的“Memcon 2024”會(huì)議上透露了三星的產(chǎn)能擴(kuò)增計(jì)劃。Hwang表示，三星預(yù)計(jì)今年的HBM芯片產(chǎn)量將比去年增長(zhǎng)2.9倍，這一數(shù)字甚至高于三星早些時(shí)候在CES 2024上所預(yù)測(cè)的2.4倍的增長(zhǎng)。此外，三星還公布了其HBM技術(shù)藍(lán)圖，預(yù)測(cè)到2026年，其HBM的出貨量將比2023年高出13.8倍，而到了2028年，這一數(shù)字將進(jìn)一步攀升至2023年的23.1倍

為了滿足HBM領(lǐng)域的旺盛需求，美光也小幅上調(diào)了本財(cái)年的資本支出預(yù)算，由原計(jì)劃的75~80億美元調(diào)整為80億美元。美光預(yù)計(jì)，未來(lái)幾年內(nèi)，其HBM內(nèi)存位元產(chǎn)能的年均增長(zhǎng)率將達(dá)到50%。

產(chǎn)能何時(shí)開(kāi)出？HBM4是否沖突HBM3？

觀察發(fā)現(xiàn)，存儲(chǔ)三巨頭的新一代HBM4的推出時(shí)間預(yù)計(jì)最早將落在2025年下半年，而全面步入批量生產(chǎn)的步伐可能需等待至2026年。再細(xì)觀各家新產(chǎn)能的籌備情況，SK海力士的新工廠預(yù)計(jì)將在2025年11月竣工，若竣工后立即投入生產(chǎn)，新產(chǎn)能的啟動(dòng)亦將緊隨其后，預(yù)計(jì)在2025年底。三星預(yù)測(cè)，到2026年，其HBM的出貨量將較2023年激增13.8倍。而美光科技雖在行動(dòng)上稍顯穩(wěn)健，但從前兩家公司的產(chǎn)能擴(kuò)展態(tài)勢(shì)來(lái)看，屆時(shí)HBM的產(chǎn)能緊張問(wèn)題或許已得到緩解，HBM4的量產(chǎn)時(shí)機(jī)與新產(chǎn)能的啟動(dòng)有望相互呼應(yīng)。然而，考慮到新產(chǎn)品上市所需的適配周期和良率提升過(guò)程，以及部分訂單從HBM3向HBM4的遷移，HBM4的推進(jìn)在短期內(nèi)對(duì)HBM3的市場(chǎng)影響或許不會(huì)過(guò)于顯著。