106
?
摩爾定律為計算機行業(yè)提供了一段顯著的增長和穩(wěn)定的時期，晶體管密度以預測的節(jié)奏加倍，不僅推動了五十年的處理器性能提升，而且推動了通用計算模型的興起。然而，根據麻省理工學院和亞琛大學的研究人員的論文，摩爾定律帶來的這一切都將結束。
麻省理工學院計算機科學與人工智能實驗室的 Neil Thompson、哈佛大學的客座教授以及亞琛工業(yè)大學的研究生 Svenja Spanuth 討論說，摩爾定律的失效，以及深度學習和加密貨幣挖掘等新應用，正在推動行業(yè)遠離通用微處理器，轉向有利于專用微處理器的模式。“通用計算機芯片的興起非?？欤虼怂麄兺瑯訒芸焖ヂ洹彼麄冞@樣爭辯道。
正如他們所指出的那樣，通用計算并不總是一般需求，在超級計算的早期階段，來自 Cray 等公司的定制矢量架構主導了 HPC 行業(yè)。目前，NEC 構建的矢量系統(tǒng)仍然存在這種情況。但由于摩爾定律在過去幾十年中不斷提高晶體管性價比，經濟力量的重心基本偏向通用處理器。
這主要也是因為開發(fā)和制造定制芯片的成本在 3000 萬到 8000 萬美元之間，因此，對有高性能微處理器需求的用戶而言，采用專用架構的好處也僅僅是九牛一毛，因為定制化的解決方案帶來的初始性能提升，通過縮小通用芯片中的晶體管就能達到，同時，晶體管縮小所產生的成本可以在數(shù)百萬個處理器中攤銷。
但摩爾定律所帶來的計算經濟學正在發(fā)生變化。近年來，隨著底層的半導體材料達到物理極限，縮小晶體管變得更加昂貴。作者發(fā)現(xiàn)，在過去的 25 年中，建立一個領先的晶圓廠的成本每年增長 11％。2017 年，半導體行業(yè)協(xié)會估計建造一座新工廠需要花費約 70 億美元。這不僅增加了芯片制造商的固定成本，半導體制造商的數(shù)量也從 2002 年的 25 家減少到今天的四家：英特爾、臺積電、三星和格羅方德。
?
?
該團隊還重點介紹了美國勞工統(tǒng)計局（BLS）的一份報告，該報告試圖量化每美元的微處理器性能，根據這一指標，BLS 發(fā)現(xiàn)微處理器的改進率從 2000 - 2004 年的 48％下降到 2004 - 2008 年的 29％，而 2008 - 2013 年每年僅為 8％。
所有這些都從根本上改變了縮小晶體管的成本和效益，正如作者所指出的，由于建造和運營新工廠的費用不斷上升，英特爾的固定成本有史以來第一次超過其可變成本。更令人不安的是，像三星和高通這樣的公司現(xiàn)在認為，在最新工藝節(jié)點上制造的晶體管的成本正在增加，這進一步阻礙了對更小尺寸的追求。這種想法可能是格羅方德最近放棄其 7nm 技術計劃決定背后的原因。
不僅僅是摩爾定律惡化的問題，專用處理器的另一個驅動因素是新應用程序無法適用于通用計算芯片。對于初學者來說，你擁有移動設備和物聯(lián)網（IoT）這樣的平臺，這些平臺在能源效率和成本方面要求很高，并且需要大量部署，即使有相對強大的摩爾定律的支持，也需要定制芯片，而具有更嚴格要求的低容量應用，例如軍用和航空硬件，也需要特殊用途設計的支持。但作者認為，通過深度學習實現(xiàn)了行業(yè)真正的分水嶺，深度學習是一種跨越幾乎所有計算環(huán)境的應用程序類別 - 移動，桌面，嵌入式，云計算和超級計算。
深度學習及其首選硬件平臺 GPU，就是計算從通用處理器走向專用處理器的最明顯的例子。實際上半專業(yè)計算架構的 GPU 已經成為訓練深度神經網絡的平臺，因為它們能夠比 CPU 更有效地進行數(shù)據并行處理。作者指出，盡管 GPU 也被用于加速科學和工程應用，但它的深度學習將可以被進一步專業(yè)化地應用于大批量應用中。當然，這里要排除 GPU 在桌面游戲中已經擁有大量應用，因為桌面游戲是 GPU 最初設計的目的。
但對于深度學習，GPU 可能只是入門級的工具，英特爾，富士通和十幾家創(chuàng)業(yè)公司已經有了人工智能和深度學習芯片，谷歌自己的 Tensor 處理單元（TPU）是專門用于訓練和使用神經網絡的，目前已進入第三次迭代?！皠?chuàng)建一個定制的處理器對谷歌而言非常昂貴，專家估計固定成本為數(shù)千萬美元，”作者寫道，“然而，好處也很大 - 他們聲稱他們的業(yè)績增長相當于摩爾定律的七年 - 并且無需基礎設施成本使其更加值得去投入?！?/p>
?
Thompson 和 Spanuth 還指出，專用處理器越來越多地用于超級計算，他們提及 2018 年 11 月的超級計算機 TOP500 排名，這表明專業(yè)處理器（主要是 Nvidia GPU）而不是 CPU 是第一次負責大部分加速性能。作者還對列表進行了回歸分析，結果顯示具有專用處理器的超級計算機“每瓦特可以執(zhí)行的計算次數(shù)幾乎是僅使用通用處理器的計算速度的五倍”，這一結果非常高具有統(tǒng)計意義?！?/p>
Thompson 和 Spanuth 提供了一個數(shù)學模型，用于確定專業(yè)化的成本 / 收益，同時考慮到開發(fā)定制芯片的固定成本，芯片數(shù)量，定制實施提供的加速以及處理器改進的速度。由于后者與摩爾定律聯(lián)系在一起，因此速度放緩意味著即使預期的加速比較適中，專用芯片的合理化也會變得更加容易。
“因此，對于許多（但不是全部）應用，現(xiàn)在獲得專用處理器在經濟上是可行的 - 至少在硬件方面，”作者聲稱，“另一種看待這種情況的方法是考慮到在 2000 - 2004 年期間，市場規(guī)模約為 83,000 臺處理器的應用程序需要專業(yè)化提供 100 倍的加速才值得，而在 2008 - 2013 年，這樣的處理器只需要 2 倍的加速。“
Thompson 和 Spanuth 還為專用處理器納入了重新定位應用軟件的額外費用，他們認為每行代碼的價格為 11 美元。這在一定程度上使模型復雜化，因為必須考慮代碼庫的大小，這并容易追蹤。在這里，他們還指出，一旦代碼重新開發(fā)完成，它往往會阻止代碼庫移回通用平臺。
最重要的是，摩爾定律的緩慢消亡正在揭示過去的創(chuàng)新，市場擴張和再投資的良性循環(huán)。隨著越來越多的專業(yè)芯片開始蠶食計算機行業(yè)，這個周期變得支離破碎。由于較少用戶采用最新的制造節(jié)點，為晶圓廠融資變得更加困難，進一步減緩了技術進步。這會將計算機行業(yè)分割成專門領域。
其中一些領域，如深度學習，由于其規(guī)模和對專用硬件的適用性，將處于快車道。然而，像數(shù)據庫處理這樣的領域雖然被廣泛使用，可能會成為“死胡同”，因為這種類型的交易計算并不適合專用芯片，另外，像氣候模型等其他較小的領域，因為太小而無法保證自己定制的硬件，盡管它們可以從中受益。
作者預計，云計算將在某種程度上通過為較小和較少照顧的社區(qū)提供各種基礎設施來削弱這些差異的影響。越來越多的可用性更專業(yè)的云資源，如 GPU，FPGA，以及谷歌的 TPU，能夠創(chuàng)造一個更加平等的競爭環(huán)境。
當然，這些都不意味著 CPU 甚至 GPU 都是失敗的，盡管作者沒有深入研究這一方面，但在未來很可能將專用、半專業(yè)和通用計算引擎集成在同一芯片或處理器封裝中，一些芯片制造商已經開始了對這方面的研究。
例如，Nvidia 在其 Volta 一代 GPU 中采用了 Tensor Cores，這是其專門用于深度學習的專用電路，這樣 Nvidia 就能夠提供一個既能滿足傳統(tǒng)超級計算模擬又能深度學習應用的平臺。同樣，CPU 正在與專用邏輯塊集成，用于加密 / 解密、圖形加速、信號處理，當然還有深度學習，我們期待這種情況會越來越多的出現(xiàn)。
完整論文請查看：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3287769
與非網編譯內容，未經許可，不得轉載！
