475
除了寫文章，吃應該是我平生另一大愛好。世界進入新常態(tài)之前，我的大部分時間可能都放在了吃上。
每個留學生都有自己的拿手菜，本來以為去新東方學的是英語，結(jié)果學的是廚師。我的廚藝屬于“還可以”的那個級別，類似于打球的時候遇到一個人說：哥們加一個，我不太會打。
雖然我嘗試做過很多菜，但有一種“菜”我一直沒做過，那就是壽司。對于很多人來說，壽司就是酸米飯加芥末加生魚片，我曾經(jīng)也一度這么覺得，直到看了一部紅極一時的紀錄片《壽司之神》。
小野二郎是世界上年紀最大的米其林三星主廚，他和英國的“地獄廚神”Gordon Ramsay涉獵廣泛、高舉高打的風格不同，老爺子一輩子就鉆研了一件事：壽司。
在這么垂直的領域做到世界頂級，靠的就是匠人精神。
說小野二郎是壽司之神，也有點神乎其神了。說白了，老爺子也不過是個普通人。如果我們拋開那些外在的包裝和炒作，沉淀下來去觀察他做的事情，就不難發(fā)現(xiàn)匠人精神的本質(zhì)，其實就是專業(yè)和堅持。
捏壽司是這樣，各行各業(yè)也是這樣，芯片行業(yè)也不例外。
推動行業(yè)發(fā)展的，或許并不是圖靈那樣可遇不可求的天才，而是更多『匠人』對極致的追求，特別是他們在某個小領域不斷地深耕、優(yōu)化、提升。
打個最簡單的比方，天才創(chuàng)造了開天辟地的理論，就像是1，但需要無數(shù)匠人在后面補上0，才能讓這個數(shù)變的越來越大。
當FPGA在1984年誕生的時候，就像是一個不起眼的1，沒有人會想到這將成為一個價值幾十億美元的產(chǎn)業(yè)。不到四十年的時間，后面加了十個0。
這就是指數(shù)級的爆發(fā)。
摩爾定律描述的就是指數(shù)級的規(guī)律，而FPGA一直都是體現(xiàn)摩爾定律的最好例子。接下來我們就從FPGA存儲器這個小領域，看看匠人精神是怎么用在這里的。
1、新型存儲架構(gòu)
英特爾總結(jié)過，F(xiàn)PGA現(xiàn)在和未來的發(fā)展趨勢只有三個：
傳輸更快，存儲更多，計算更廣。
Move fast, Store more, Process everything.
所以，就像不要覺得壽司只是酸米飯配芥末一樣，再也不要覺得FPGA只是用來做芯片原型驗證的了。FPGA早就被用作高能效的硬件加速單元，去加速你能想到的所有應用了。
FPGA之所以有這樣的能力，是由它本身的結(jié)構(gòu)決定的。比如FPGA有著很強的硬件并行性，能像GPU那樣進行并行運算，但功耗卻低很多；它還能靈活地調(diào)整數(shù)據(jù)的精度，讓神經(jīng)網(wǎng)絡的壓縮和優(yōu)化成為現(xiàn)實。
同樣重要的是，F(xiàn)PGA能提供極高的內(nèi)存帶寬、同時兼顧計算的效率，從而解決很多應用都存在的內(nèi)存瓶頸問題。
而存儲，就是FPGA上最體現(xiàn)「匠人」功力的地方。
傳統(tǒng)的FPGA存儲單元并不是只有一種結(jié)構(gòu)，而是分成下面兩類：
片上內(nèi)存：如M20K、MLAB等
片外內(nèi)存：如DDR5、LPDDR5等
片上內(nèi)存速度最快、容量最小、造價最高；片外內(nèi)存速度慢、容量大、造價低。
這樣的結(jié)構(gòu)，并不是某個天才一拍腦門想出來的。最早的FPGA只支持片上內(nèi)存。但是隨著需要處理的數(shù)據(jù)越來越多，就慢慢加入了對片外內(nèi)存的支持，并且逐漸成為了主流FPGA的標配。
匠人精神的本質(zhì)，就是不斷發(fā)現(xiàn)問題、解決問題、并且極致優(yōu)化的過程。
在這個過程中人們逐漸發(fā)現(xiàn)，片上和片外這兩種內(nèi)存之間，仍然存在著一個巨大而關鍵的缺口：對于很多數(shù)據(jù)密集型的應用，它們的數(shù)據(jù)量比片上內(nèi)存的容量大得多，但對于帶寬的需求又比片外內(nèi)存能提供的大得多。
這時出現(xiàn)了第三種內(nèi)存類型：封裝內(nèi)存。這種內(nèi)存的最典型代表，就是HBM。
典型的存儲層次結(jié)構(gòu)
它之所以叫「封裝內(nèi)存」，是因為內(nèi)存顆粒與FPGA被集成在同一個芯片封裝里了。比如在英特爾最新的Agilex™ M系列FPGA里，就在芯片的上下兩側(cè)通過EMIB技術(shù)集成了兩個HBM2e，這也是業(yè)界第一個集成了HBM2e高帶寬存儲器的FPGA。這樣不僅減小了芯片的尺寸，還能進一步降低功耗和數(shù)據(jù)傳輸的時延。
英特爾Agilex-M FPGA平面圖
一個有趣的小知識，Agilex™ M的“M”，就是Memory存儲器的意思。也就是說，Agilex™ M就是專門為高性能存儲而優(yōu)化的FPGA芯片。
和傳統(tǒng)的芯片結(jié)構(gòu)不同，HBM2e是一種三維結(jié)構(gòu)。如果說傳統(tǒng)芯片是平房，那么HBM2e就是大樓。所以在容量這個維度，HBM2e秒殺片上內(nèi)存。比如它可以包含4層或8層，每層提供2GB內(nèi)存，再考慮到一個Agilex™ M里包含兩個HBM2e，這樣FPGA就能提供高達32GB的內(nèi)存容量，比片上內(nèi)存多兩個數(shù)量級。
從內(nèi)存帶寬這個維度來看，每個HBM2e能提供410Gbps的內(nèi)存帶寬，比業(yè)界前沿的DDR5和GDDR6分別高18倍、和高7倍，比更加“主流”的DDR4等等更不知道要高到哪里去了。
有了HBM，看起來存儲的問題已經(jīng)解決了？還遠遠沒有：HBM只是第一步。
2、新型非易失性存儲
對于片外內(nèi)存，新的問題又出現(xiàn)了。對于很多應用來說，DDR最大的問題并不是慢，而是斷電后數(shù)據(jù)會消失。這時人們就不得不采用閃存這樣的“非易失性”存儲，來保存那些關鍵數(shù)據(jù)。但硬幣的另一面，是閃存的性能比DDR還要低。
為了解決這個問題，英特爾提供了一種名叫“傲騰”的新型存儲介質(zhì)，這種存儲級內(nèi)存其存儲密度比普通內(nèi)存高，但存取速度又比閃存快。更重要的是，傲騰™技術(shù)作為一種持久內(nèi)存的形態(tài)存在時，它獨有的非易失性，使得它里面存的數(shù)據(jù)在斷電后并不會消失。
與 DRAM 內(nèi)存相比，持久內(nèi)存具有更經(jīng)濟的價格和更大的容量，和固態(tài)盤相比則擁有更優(yōu)的數(shù)據(jù)響應速度和傳輸速度（接近 DRAM 內(nèi)存）。正因于此，傲騰也逐漸成為了很多高性能應用里的關鍵存儲單元，多用來做內(nèi)存的大補充或者為內(nèi)存密集型應用和延時敏感型應用服務。
3、片上網(wǎng)絡，終于來了
同樣還在進化的，是FPGA的芯片架構(gòu)。之前的文章里介紹過，Agilex™ FPGA對芯片布局進行了大修，把各種I/O接口和存儲單元都移到了芯片的上下兩端，把各種高速收發(fā)器放在了芯片的左右兩端，這樣芯片中間就成了一個像足球場一樣的特別平整的結(jié)構(gòu)。之前開一個大腳會踢到各種模塊單元，數(shù)據(jù)跑起來自然就慢。現(xiàn)在一馬平川，沒有擋路的東西了，數(shù)據(jù)跑起來就快多了。
可以說，這已經(jīng)是近幾年來FPGA架構(gòu)上最有創(chuàng)意的嘗試了。但你以為這樣就完了嗎？
Agilex™ M最大的架構(gòu)變化，就是引入了片上網(wǎng)絡Network-on-Chip。這就像在城市規(guī)劃里，不僅有道路交通，還有軌道交通。在軌道上運行的地鐵或城鐵，不僅速度可以更快，還能運更多的人。更重要的是，軌道可以建在地上或者地下，不影響在路上跑的汽車自行車摩托車。
Agilex-M的片上網(wǎng)絡NoC結(jié)構(gòu)示意圖
Agilex™ M的片上網(wǎng)絡專門為存儲設計，也就是說，這是一趟專列。
有了片上網(wǎng)絡，F(xiàn)PGA和各種內(nèi)存之間的數(shù)據(jù)傳輸就不用經(jīng)過FPGA的路由資源了。HBM2e通過UIB接口連接片上網(wǎng)絡、DDR和傲騰這些片外內(nèi)存則通過IO96子系統(tǒng)連接片上網(wǎng)絡，并且可以實現(xiàn)7.52Tbps的總帶寬。
4、其他架構(gòu)優(yōu)化
除了片上網(wǎng)絡，Agilex™ M還有很多其他的架構(gòu)優(yōu)化。I/O方面，它的收發(fā)器帶寬可以達到116Gbps，可以支持CXL、PCIe Gen5、400G以太網(wǎng)等等這些數(shù)據(jù)中心和網(wǎng)絡通信的最新協(xié)議和接口。
計算性能方面，Agilex™ M集成了高達12300個可變精度DSP模塊，可以支持高達18.5TFLOPS的單精度浮點運算、37TFLOPS的半精度浮點運算、以及88.6TOPS的INT8運算。
結(jié)語
作為專門針對存儲性能進行優(yōu)化的FPGA，英特爾® Agilex™ M已經(jīng)把優(yōu)化做到了極致。這樣的優(yōu)化方式和思路其實有著很強的普適意義：它并不是由某個天才創(chuàng)造出來的突破性成果，而是在各種問題的驅(qū)動下，一步一步發(fā)展起來的，然后靠一個個擁有「匠人精神」工程師的專注與積累，達到最后的結(jié)果。
在大多數(shù)情況下，這種方式更加現(xiàn)實，也更加有效。
（注：本文不代表老石任職單位的觀點。）
