6542
作者：三分淺土
存儲的寒氣從去年吹到現(xiàn)在，雖然今年開年以來不時聽到觸底反彈的聲音，但市場仍未見明顯解凍現(xiàn)象。
TrendForce數(shù)據(jù)顯示，本季度，占據(jù)存儲市場一半以上的DRAM，已經(jīng)連續(xù)三個季度下跌。DRAM三巨頭三星、SK海力士和美光在出貨量方面僅美光有上升，其余均衰退；平均銷售單價三者均下跌，并且預(yù)計(jì)三巨頭在Q2還將繼續(xù)虧損。
以DRAM 4月的指標(biāo)性產(chǎn)品DDR4 8Gb為例，批發(fā)價為每個1.48美元左右，環(huán)比下跌1%；4Gb產(chǎn)品價格為每個1.1美元左右，環(huán)比下跌8%。
在DRAM的整體頹勢之中，HBM（高帶寬內(nèi)存，High?Bandwidth?Memory）卻在逆勢增長。身為DRAM的一種，與大部隊(duì)背道而馳，價格一路水漲船高。據(jù)媒體報(bào)道，2023年開年后三星、SK海力士兩家存儲大廠HBM訂單快速增加，HBM3規(guī)格DRAM價格上漲5倍。HBM3原本價格大約30美元每GB，現(xiàn)在的價格怕是更加驚人。
一邊是總體DRAM跌到成本價，一邊是“尖子生”HBM價格漲5倍。
HBM到底是什么？用在什么地方？為什么和其他DRAM差別這么大，價格水漲船高？
01、什么是HBM
HBM（High Bandwidth Memory），意為高帶寬存儲器，是一種面向需要極高吞吐量的數(shù)據(jù)密集型應(yīng)用程序的DRAM，HBM的作用類似于數(shù)據(jù)的“中轉(zhuǎn)站”，就是將使用的每一幀，每一幅圖像等圖像數(shù)據(jù)保存到幀緩存區(qū)中，等待GPU調(diào)用。
正如其名，HBM與其他DRAM最大的差別就是擁有超高的帶寬。最新的HBM3的帶寬最高可以達(dá)到819 GB/s，而最新的GDDR6的帶寬最高只有96GB/s，CPU和硬件處理單元的常用外掛存儲設(shè)備DDR4的帶寬更是只有HBM的1/10。
超高的帶寬讓HBM成為了高性能GPU的核心組件。自從去年ChatGPT出現(xiàn)以來，HBM作為AI服務(wù)器的“標(biāo)配”，更是開始狠刷存在感。從“鮮有問津”的高嶺之花，變成了大廠們爭相搶奪的“香餑餑”。
HBM為什么可以擁有這么高的帶寬？它和其他DRAM的差別在哪？為什么會成為高端GPU的標(biāo)配呢？
先說一下HBM是怎么發(fā)展而來的。
按照不同應(yīng)用場景，JEDEC（固態(tài)技術(shù)協(xié)會）將DRAM分為三個類型：標(biāo)準(zhǔn)DDR、移動DDR以及圖形DDR，HBM屬于最后一種。
圖形DDR中，先出現(xiàn)的是GDDR（Graphics?DDR），它是為了設(shè)計(jì)高端顯卡而特別設(shè)計(jì)的高性能DDR存儲器規(guī)格，是打破“內(nèi)存墻”的有效方案。
由于處理器與存儲器的工藝、封裝、需求的不同，二者之間的性能差距越來越大，過去20年中，硬件的峰值計(jì)算能力增加了90,000倍，但是內(nèi)存/硬件互連帶寬卻只是提高了30倍。當(dāng)存儲的性能跟不上處理器，對指令和數(shù)據(jù)的搬運(yùn)（寫入和讀出）的時間將是處理器運(yùn)算所消耗時間的幾十倍乃至幾百倍。
可以想象一下，數(shù)據(jù)傳輸就像處在一個巨大的漏斗之中，不管處理器灌進(jìn)去多少，存儲器都只能“細(xì)水長流”。而數(shù)據(jù)交換通路窄以及其引發(fā)的高能耗，便是通常所說的“內(nèi)存墻”。
為了讓數(shù)據(jù)傳輸更快，就必須要提高內(nèi)存帶寬，內(nèi)存帶寬是處理器可以從內(nèi)存讀取數(shù)據(jù)或?qū)?a class="article-link" target="_blank" href="/tag/%E6%95%B0%E6%8D%AE%E5%AD%98%E5%82%A8/">數(shù)據(jù)存儲到內(nèi)存的速率。GDDR采用傳統(tǒng)的方法將標(biāo)準(zhǔn)PCB和測試的DRAMs與SoC連接在一起，旨在以較窄的通道提供更高的數(shù)據(jù)速率，進(jìn)而實(shí)現(xiàn)必要的吞吐量，具有較高的帶寬和較好的能耗效率。
不過，隨著AI等新需求的出現(xiàn)以及風(fēng)靡，對帶寬的要求更高了，GDDR也開始不夠用。但是按照GDDR現(xiàn)有的模式很難有突破性的帶寬進(jìn)展，存儲廠商們望著現(xiàn)有的GDDR，終于頓悟：這樣“躺平”下去不行，得“疊”起來！于是，HBM出現(xiàn)了。
所以，HBM其實(shí)是GDDR的替代品，是將DDR芯片堆疊在一起后和GPU封裝在一起，實(shí)現(xiàn)大容量，高位寬的DDR組合陣列。聽起來有點(diǎn)復(fù)雜，看下面這張圖就一目了然了。
GDDR作為獨(dú)立封裝，在PCB上圍繞在處理器的周圍，而HBM則排布在硅中階層(Silicon Interposer)上并和GPU封裝在一起，面積一下子縮小了很多，舉個例子，HBM2比GDDR5直接省了94%的表面積。并且，HBM離GPU更近了，這樣數(shù)據(jù)傳輸也就更快了。
HBM之所以可以做到這樣的布局，是因?yàn)椴捎昧?D堆疊技術(shù)。HBM將DRAM裸片像摩天大樓一樣垂直堆疊，并通過硅通孔（Through?Silicon?Via,?簡稱“TSV”）技術(shù)將“每層樓”連接在一起，貫通所有芯片層的柱狀通道傳輸信號、指令、電流，以增加吞吐量并克服單一封裝內(nèi)帶寬的限制。你可以將HBM想象成一個切的整整齊齊的三明治，TSV就是扎在里面的那根牙簽，將整個三明治固定并打通。
從側(cè)面來看HBM，來源：AMD
采用3D堆疊技術(shù)之后，其直接結(jié)果就是接口變得更寬，其下方互聯(lián)的觸點(diǎn)數(shù)量遠(yuǎn)遠(yuǎn)多于DDR內(nèi)存連接到CPU的線路數(shù)量。從傳輸位寬的角度來看，4層DRAM裸片高度的HBM內(nèi)存總共就是1024 bit位寬。很多GPU、CPU周圍都有4片這樣的HBM內(nèi)存，則總共位寬就是4096bit。
因此，與傳統(tǒng)內(nèi)存技術(shù)相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸。
HBM與其他幾種內(nèi)存方案的參數(shù)對比；來源：芯耀輝
HBM朝著不斷提高存儲容量、帶寬，減小功耗和封裝尺寸方向升級，目前已升級到HBM3。從最初的 1GB 存儲容量和 128GB/s 帶寬的HBM1發(fā)展到目前的 24GB 存儲容量和 819GB/s 帶寬。
來源：SK 海力士、Rambus
不過，雖然HBM擁有優(yōu)秀的帶寬，但也不是適用于所有應(yīng)用，HBM也有自身的局限性：
首先，缺乏靈活性，由于HBM與主芯片封裝在一起，所以不存在容量擴(kuò)展的可能；其次，容量小，雖說一片HBM封裝雖然可以堆8層DRAM裸片，但也僅有8G Byte；第三，訪問延遲高。HBM由于互聯(lián)寬度超寬，這就決定了HBM的傳輸頻率不能太高，否則總功耗和發(fā)熱撐不住，所以延遲高（延遲指從讀取指令發(fā)出，到數(shù)據(jù)準(zhǔn)備就緒的過程，中間的一個等待時間）。
簡單概括一下，同一個GPU核心，往往低端顯卡用DDR內(nèi)存，高端用GDDR內(nèi)存，再高端用HBM2內(nèi)存。目前，HBM已經(jīng)可以算是高端GPU的標(biāo)配了。
02、借AI東風(fēng)HBM需求激增
2021年的時候，HBM位元需求占整體DRAM市場只有不到1%。主要是因?yàn)镠BM高昂的成本以及當(dāng)時服務(wù)器市場中搭載相關(guān)AI運(yùn)算卡的比重仍小于1%，且多數(shù)存儲器仍使用GDDR5(x)、GDDR6來支持其算力。
而到了今年年初，HBM的需求激增，并且業(yè)內(nèi)人士稱，與最高性能的 DRAM 相比，HBM3 的價格上漲了五倍，HBM“逆襲”的主要原因，就是AI服務(wù)器需求的爆發(fā)。
在ChatGPT火了之后，一下子點(diǎn)燃了AIGC（生成式AI）的熱潮，誰不追，誰就要被拋下，于是大廠們紛紛開始推出自己的類ChatGPT的大模型。據(jù)不完全統(tǒng)計(jì)，自3月16日百度率先公布“文心一言”以來，國內(nèi)已有超過30項(xiàng)大模型產(chǎn)品亮相。
而AI大模型的基礎(chǔ)，就是靠海量數(shù)據(jù)和強(qiáng)大算力來支撐訓(xùn)練和推理過程。AI服務(wù)器作為算力基礎(chǔ)設(shè)施單元服務(wù)器的一種類型也來到了臺前，備受追捧。TrendForce集邦咨詢預(yù)估，2023年AI服務(wù)器（包含搭載GPU、FPGA、ASIC等）出貨量近120萬臺，同步上修2022-2026年AI服務(wù)器出貨量年復(fù)合成長率至22%。
HBM成本在AI服務(wù)器成本中占比排名第三，約占9%，單機(jī)ASP（單機(jī)平均售價）高達(dá)18,000美元。所以，AI服務(wù)器是HBM目前最矚目的應(yīng)用領(lǐng)域。
AI服務(wù)器需要在短時間內(nèi)處理大量數(shù)據(jù)，包括模型訓(xùn)練數(shù)據(jù)、模型參數(shù)、模型輸出等。要想讓AI更加“智能”，AI大模型龐大的參數(shù)量少不了，比如ChatGPT基于的GPT3.5大模型的參數(shù)量就高達(dá)135B。數(shù)據(jù)處理量和傳輸速率的大幅提升，讓AI服務(wù)器對帶寬提出了更高的要求，而HBM基本是AI服務(wù)器的標(biāo)配?。
AI服務(wù)器GPU市場以NVIDIA H100、A100、A800以及AMD MI250、MI250X系列為主，基本都配備了HBM。2023 GTC大會發(fā)布的ChatGPT專用最新H100 NVL GPU，也配置了188GB HBM3e內(nèi)存。HBM方案目前已演進(jìn)為較為主流的高性能計(jì)算領(lǐng)域擴(kuò)展高帶寬的方案。
目前推出的搭載HBM和GDDR的GPU產(chǎn)品；來源：奎芯科技
隨著高端GPU需求的逐步提升，TrendForce集邦咨詢預(yù)估2023年HBM需求量將年增58%，2024年有望再成長約30%。
除了AI服務(wù)器，汽車也是HBM值得關(guān)注的應(yīng)用領(lǐng)域。汽車中的攝像頭數(shù)量，所有這些攝像頭的數(shù)據(jù)速率和處理所有信息的速度都是天文數(shù)字，想要在車輛周圍快速傳輸大量數(shù)據(jù)，HBM具有很大的帶寬優(yōu)勢。但是最新的HBM3目前還沒有取得汽車認(rèn)證，外加高昂的成本，所以遲遲還沒有“上車”。不過，Rambus的高管曾提出，HBM 絕對會進(jìn)入汽車應(yīng)用領(lǐng)域。
AR和VR也是HBM未來將發(fā)力的領(lǐng)域。因?yàn)閂R和AR系統(tǒng)需要高分辨率的顯示器，這些顯示器需要更多的帶寬來在 GPU 和內(nèi)存之間傳輸數(shù)據(jù)。而且，VR和AR也需要實(shí)時處理大量數(shù)據(jù)，這都需要HBM的超強(qiáng)帶寬來助力。
此外，智能手機(jī)、平板電腦、游戲機(jī)和可穿戴設(shè)備的需求也在不斷增長，這些設(shè)備需要更先進(jìn)的內(nèi)存解決方案來支持其不斷增長的計(jì)算需求，HBM也有望在這些領(lǐng)域得到增長。并且，5G 和物聯(lián)網(wǎng)?(IoT)?等新技術(shù)的出現(xiàn)也進(jìn)一步推動了對 HBM 的需求。
不過，目前來講，HBM還是主要應(yīng)用于服務(wù)器、數(shù)據(jù)中心等領(lǐng)域，消費(fèi)領(lǐng)域?qū)Τ杀颈容^敏感，因此HBM的使用較少。
可以肯定的是，對帶寬的要求將不斷提高，HBM也將持續(xù)發(fā)展。市場調(diào)研機(jī)構(gòu)Omdia預(yù)測，2025年HBM市場的總收入將達(dá)到25億美元。據(jù)新思界發(fā)布的分析報(bào)告顯示，預(yù)計(jì)2025年中國HBM需求量將超過100萬顆。
03、存儲巨頭爭霸HBM
HBM作為DRAM的一種，其市場也被三巨頭瓜分。目前技術(shù)走在最前面的是SK海力士，并且它也擁有第一的市占率，高達(dá)50%，緊隨其后的是三星，市占率約40%，美光約占10%。預(yù)計(jì)到2023年，SK 海力士市占率有望提升至 53%，而三星、美光市占率分別為38%及9%。
下游廠商主要是CPU/GPU廠商，如英特爾、英偉達(dá)以及AMD。因?yàn)镠BM是于GPU封裝在一起的，所以HBM的封裝基本也由晶圓代工廠一同包攬完成，而晶圓代工廠商包括臺積電、格芯等也在發(fā)力HBM相關(guān)技術(shù)。國內(nèi)廠商布局不大，只有一些企業(yè)涉及封測，如國芯科技與深科技。
來源：財(cái)聯(lián)社
總的來說，HBM的競爭還是在SK 海力士、三星以及美光之間展開。
從技術(shù)上先來看，SK海力士是目前唯一實(shí)現(xiàn)HBM3量產(chǎn)的廠商，并向英偉達(dá)大量供貨，配置在英偉達(dá)高性能GPU H100之中，持續(xù)鞏固其市場領(lǐng)先地位。根據(jù)此前的資料介紹，SK海力士提供了兩種容量產(chǎn)品，一個是12層硅通孔技術(shù)垂直堆疊的24GB（196Gb），另一個則是8層堆疊的16GB（128Gb），均提供819 GB/s的帶寬，前者的芯片高度也僅為30微米。相比上一代HBM2E的460 GB/s帶寬，HBM3的帶寬提高了78%。此外，HBM3內(nèi)存還內(nèi)置了片上糾錯技術(shù)，提高了產(chǎn)品的可靠性。
三星在2022年技術(shù)發(fā)布會上發(fā)布的內(nèi)存技術(shù)發(fā)展路線圖中，顯示HBM3技術(shù)已經(jīng)量產(chǎn)，其單芯片接口寬度可達(dá)1024bit，接口傳輸速率可達(dá)6.4Gbps。2024年預(yù)計(jì)實(shí)現(xiàn)接口速度高達(dá)7.2Gbps的HBM3P，預(yù)計(jì)2025年在新一代面向AI的GPU中見到HBM3P的應(yīng)用。
美光科技走得較慢，于2020年7月宣布大規(guī)模量產(chǎn)HBM2E，HBM3也仍作為其產(chǎn)品線在持續(xù)研發(fā)之中。
HBM之后的發(fā)力點(diǎn)在于打破速度、密度、功耗、占板空間等方面的極限。
為了打破速度極限，SK海力士正在評估提高引腳數(shù)據(jù)速率的傳統(tǒng)方法的利弊，以及超過1024個數(shù)據(jù)的I/O總線位寬，以實(shí)現(xiàn)更好的數(shù)據(jù)并行性和向后設(shè)計(jì)兼容性。簡單來講，即用最少的取舍獲得更高的帶寬性能。
另一方面廠商也在致力于提高功耗效率，通過評估從最低微結(jié)構(gòu)級別到最高Die堆疊概念的內(nèi)存結(jié)構(gòu)和操作方案，最大限度地降低每帶寬擴(kuò)展的絕對功耗。
不過要想有上述突破，存儲廠商要與上下游生態(tài)系統(tǒng)合作伙伴攜手合作和開放協(xié)同，將HBM的使用范圍從現(xiàn)有系統(tǒng)擴(kuò)展到潛在的下一代應(yīng)用。
HBM的下游也在持續(xù)發(fā)力，英偉達(dá)歷代主流訓(xùn)練芯片基本都配置HBM；英特爾Sapphire Rapids發(fā)布全球首款配備HBM的X86 CPU；AMD也在持續(xù)更新HBM產(chǎn)品線。
借著AI的東風(fēng)，HBM最近熱度大幅上升，從原來的“小透明”變成了“網(wǎng)紅”。并且，AI的浪潮還在愈演愈烈，HBM今后的存在感或許會越來越強(qiáng)。集邦咨詢預(yù)計(jì)2023-2025年HBM 市場年復(fù)合增長率有望增長至40%-45%以上。而其他機(jī)構(gòu)預(yù)測DRAM5年內(nèi)（2022-2027）年復(fù)合增長率僅有6.1%。不過要清楚的是，與龐大的DRAM市場比起來，HBM還是“渺小的”，大約只占整個DRAM市場的1.5%。
參考資料：
[1]HBM高帶寬內(nèi)存：新一代DRAM解決方案，方正證券
[2]HBM 成高端 GPU 標(biāo)配，充分受益于 AI 服務(wù)器需求增長，廣發(fā)證券
[3]HBM，增長速度迅猛！半導(dǎo)體行業(yè)觀察
[4]存儲巨頭競逐HBM，半導(dǎo)體行業(yè)觀察
