話.png?orientation=landscape&width=546&height=388)
647
金磊 夢(mèng)晨 發(fā)自 凹非寺，量子位 | 公眾號(hào) QbitAI
隨著生成式AI的火速發(fā)展，AI應(yīng)用開(kāi)始與各種信息設(shè)備“嫁接”，AI手機(jī)、AI PC，甚至AI汽車(chē)都變得越發(fā)司空見(jiàn)慣。
一方面，人們正在生活中享受著AI，尤其是大模型帶來(lái)的便捷，可以隨時(shí)隨地向終端設(shè)備提出問(wèn)題來(lái)答疑解惑，內(nèi)容可能是日常生活中遇到的麻煩，也可能是單純跟AI聊聊天解解悶，順手拍個(gè)大模型給你解說(shuō)人生雞湯的視頻發(fā)出來(lái)炫一下。
但另一方面，生成式AI上終端設(shè)備之后，更多地在向AI生產(chǎn)力的方向發(fā)展。
換言之，人們?cè)诠ぷ魃弦苍桨l(fā)地開(kāi)始依賴大模型，例如直接把文檔、表格、圖片丟給設(shè)備來(lái)解析、處理。
這就引發(fā)了一個(gè)不知不覺(jué)中發(fā)生，也不可避免的話題——安全性。
因?yàn)椴徽揂I應(yīng)用在何種信息設(shè)備上集成，在使用過(guò)程中都會(huì)收集和產(chǎn)生大量用戶數(shù)據(jù)，如個(gè)人信息、通信記錄、瀏覽歷史、生物特征數(shù)據(jù)等，這些數(shù)據(jù)對(duì)于用戶來(lái)說(shuō)具有高度的敏感性。
就好比之前的推薦模型僅僅是根據(jù)用戶的瀏覽歷史、搜索記錄、購(gòu)買(mǎi)行為等數(shù)據(jù)，就可以讓用戶身陷信息繭房，只推薦用戶可能感興趣的內(nèi)容，限制了視野的拓展，再?gòu)碾娚探嵌取皻€(gè)熟”。
而大模型加持的這些AI終端設(shè)備，涉及到用戶生活的更多方面，包括通信、工作、娛樂(lè)、金融等，甚至將來(lái)某一天它與汽車(chē)結(jié)合成為你的“副駕”，或與家務(wù)機(jī)器人結(jié)合后成為你的管家或護(hù)工時(shí)，還可能會(huì)把你家里家外的事兒摸個(gè)底兒掉。
所以它一旦出現(xiàn)安全問(wèn)題，其影響范圍將遠(yuǎn)遠(yuǎn)超過(guò)推薦模型，可能導(dǎo)致用戶的財(cái)產(chǎn)損失、身份被盜用、工作中斷等嚴(yán)重后果。
或許有人會(huì)說(shuō)了，很多AI終端廠商在做宣傳的時(shí)候都在強(qiáng)調(diào)斷網(wǎng)運(yùn)行，由此可以保障本地文件或信息的安全性。
但事實(shí)真是如此嗎？
非也非也。
AIGC應(yīng)用，需要端云協(xié)同
AIGC應(yīng)用在終端使用的過(guò)程中，一個(gè)明顯的趨勢(shì)是這樣的——
能力越強(qiáng)的AIGC應(yīng)用都應(yīng)當(dāng)是端云協(xié)同，這才是數(shù)據(jù)處理模式的未來(lái)趨勢(shì)。
之所以如此，是因?yàn)樵诖竽Ｐ偷膽?yīng)用過(guò)程中，充沛的算力和海量高質(zhì)量的數(shù)據(jù)都是關(guān)鍵中的關(guān)鍵，直接影響用戶在終端的體感。
尤其在眾多面向終端部署的個(gè)人化應(yīng)用里，一旦訓(xùn)練或推理過(guò)程有大規(guī)模計(jì)算資源參與其中，算力相對(duì)較弱的終端便會(huì)顯得力不從心；一旦用戶探求的信息或答案需要專門(mén)的數(shù)據(jù)庫(kù)甚至高度組織的知識(shí)庫(kù)的支持，都會(huì)成為阻礙AIGC應(yīng)用進(jìn)一步拓展的瓶頸。
那么端云協(xié)同又是如何破局的呢？
在端云協(xié)同的這一模式下，終端設(shè)備主要承擔(dān)起與使用者直接相關(guān)的各類(lèi)數(shù)據(jù)的采集與預(yù)處理工作。
它如同一個(gè)敏銳的觀察者，時(shí)刻感知著周?chē)沫h(huán)境變化，將各種原始數(shù)據(jù)收集起來(lái)，并進(jìn)行初步的整理和篩選。
而那些復(fù)雜的計(jì)算任務(wù)，以及對(duì)更多數(shù)據(jù)的訪問(wèn)則交由強(qiáng)大的云端算力來(lái)完成。云端就像是一個(gè)更有智慧的大腦，擁有著龐大的計(jì)算資源和先進(jìn)的算法或更大參數(shù)量的復(fù)雜模型，還有個(gè)人用戶難以企及的超大規(guī)模數(shù)據(jù)來(lái)供其訓(xùn)練或訪問(wèn)，可以更快速、更準(zhǔn)確地給出答案或輔助處理需求。
這樣一來(lái)，即使終端設(shè)備本身的算力和數(shù)據(jù)有限，也能夠借助云端強(qiáng)勁的AI算力和數(shù)據(jù)積蓄來(lái)實(shí)現(xiàn)更加復(fù)雜的功能和服務(wù)。
比如，在圖像識(shí)別領(lǐng)域，終端設(shè)備可以快速拍攝照片并進(jìn)行簡(jiǎn)單的圖像裁剪和調(diào)整，然后將圖像數(shù)據(jù)上傳至云端。
云端利用其強(qiáng)大的計(jì)算能力和深度學(xué)習(xí)算法，對(duì)圖像進(jìn)行高精度的識(shí)別和分析，最后將結(jié)果返回給終端設(shè)備，為用戶提供詳細(xì)的圖像信息和相關(guān)的服務(wù)建議。
在語(yǔ)音處理方面，終端設(shè)備可以采集用戶的語(yǔ)音信號(hào)并進(jìn)行降噪等預(yù)處理，云端則負(fù)責(zé)對(duì)語(yǔ)音進(jìn)行識(shí)別、翻譯和語(yǔ)義理解等復(fù)雜的處理任務(wù)，從而實(shí)現(xiàn)智能語(yǔ)音助手的強(qiáng)大功能。
這種模式雖好，但當(dāng)客戶端各類(lèi)數(shù)據(jù)需要傳輸至云端進(jìn)行處理的時(shí)候，云端可信環(huán)境的重要性便立刻凸顯出來(lái)。
所謂云端可信環(huán)境，指的是在云端能夠確保終端傳來(lái)的隱私數(shù)據(jù)以及自身存儲(chǔ)的各類(lèi)關(guān)鍵數(shù)據(jù)在處理和交互時(shí)，都能被更好地保護(hù)，不被非法訪問(wèn)、篡改或者泄露。在這個(gè)數(shù)據(jù)驅(qū)動(dòng)的時(shí)代，尤其是面向企業(yè)級(jí)應(yīng)用，這樣的環(huán)境至關(guān)重要，其意義不言而喻。
一方面，云端可信環(huán)境直接關(guān)系到用戶信任度的高低。
用戶在使用各種基于AI技術(shù)的應(yīng)用時(shí)，會(huì)將大量的個(gè)人數(shù)據(jù)上傳至云端進(jìn)行處理；如果云端環(huán)境不可信，用戶的隱私數(shù)據(jù)隨時(shí)可能面臨被竊取、濫用的風(fēng)險(xiǎn)，這無(wú)疑會(huì)讓用戶對(duì)這些應(yīng)用產(chǎn)生極大的擔(dān)憂和不信任。
另一方面，云端可信環(huán)境還將影響到AI技術(shù)與應(yīng)用的長(zhǎng)期發(fā)展和社會(huì)接受度。
如果云端的安全性無(wú)法得到保障，頻繁出現(xiàn)數(shù)據(jù)泄露等問(wèn)題，不僅會(huì)損害用戶的利益，還會(huì)引發(fā)社會(huì)對(duì)AI技術(shù)的質(zhì)疑和擔(dān)憂。這也將極大地阻礙AI技術(shù)的進(jìn)一步發(fā)展和推廣。
那么何以解憂？CPU，了解一下。
或許在很多人的固有認(rèn)知里，在云上或數(shù)據(jù)中心里，與AI數(shù)據(jù)處理相關(guān)的硬件更多應(yīng)當(dāng)向GPU或者專用加速器靠攏；但實(shí)際上，CPU作為系統(tǒng)的中央處理器，它才具備對(duì)整個(gè)系統(tǒng)的全面控制能力。
例如在云端協(xié)同的數(shù)據(jù)處理中，CPU能夠?qū)?shù)據(jù)的傳輸、存儲(chǔ)和處理進(jìn)行全面的監(jiān)控和管理，如訪問(wèn)控制、身份驗(yàn)證、數(shù)據(jù)加密等。
相比之下，GPU和專用加速器主要專注于特定的計(jì)算任務(wù)，缺乏對(duì)系統(tǒng)的全面控制能力，難以有效地執(zhí)行安全策略。
至于CPU具體是如何在這個(gè)過(guò)程中發(fā)揮作用的，我們繼續(xù)往下看。
基于CPU的可信執(zhí)行環(huán)境
說(shuō)到構(gòu)建云端可信環(huán)境，離不開(kāi)一個(gè)關(guān)鍵技術(shù)——可信執(zhí)行環(huán)境(TEE)。
它通過(guò)在硬件中創(chuàng)建隔離區(qū)域，保護(hù)內(nèi)存中的敏感數(shù)據(jù)不被非法訪問(wèn)、篡改或泄露?？尚艌?zhí)行環(huán)境能夠?yàn)槊舾袛?shù)據(jù)和代碼提供獨(dú)立于操作系統(tǒng)和硬件配置的增強(qiáng)安全防護(hù)。
想要在“端云協(xié)同”模式下構(gòu)建可信執(zhí)行環(huán)境，還可以從以下幾個(gè)方面入手：
采用硬件級(jí)安全技術(shù)：
目前這方面的技術(shù)，成熟且應(yīng)用較多的，當(dāng)屬英特爾??軟件防護(hù)擴(kuò)展（Intel??SGX）和英特爾??信任域擴(kuò)展（Intel??TDX），它們或在內(nèi)存中構(gòu)建被稱為“飛地”（Enclave）的安全區(qū)域，能做到應(yīng)用隔離，來(lái)保護(hù)最關(guān)鍵的敏感應(yīng)用和關(guān)鍵數(shù)據(jù)，或?qū)EE環(huán)境擴(kuò)展到虛擬機(jī)層面，實(shí)現(xiàn)虛擬機(jī)隔離，來(lái)保護(hù)某個(gè)虛擬機(jī)環(huán)境中的數(shù)據(jù)和應(yīng)用程序免遭未經(jīng)授權(quán)的訪問(wèn)。
構(gòu)建遠(yuǎn)程認(rèn)證和密鑰管理體系：
引入英特爾??數(shù)據(jù)中心驗(yàn)真原語(yǔ)（Intel??DCAP）等技術(shù)，構(gòu)建遠(yuǎn)程認(rèn)證服務(wù)和密鑰分發(fā)服務(wù)。確保只有經(jīng)過(guò)驗(yàn)證的用戶和設(shè)備才能訪問(wèn)云端資源，來(lái)更好地保護(hù)數(shù)據(jù)免受未授權(quán)的訪問(wèn)和泄露。
采用可信的運(yùn)行環(huán)境和工具：
利用開(kāi)源的輕量級(jí)操作系統(tǒng)，如Gramine，確?？尚胚\(yùn)行實(shí)例的創(chuàng)建、加載與運(yùn)行。Gramine支持對(duì)網(wǎng)絡(luò)通信進(jìn)行加密，并可將遠(yuǎn)程認(rèn)證協(xié)議（RA-TLS）下沉，實(shí)現(xiàn)對(duì)應(yīng)用程序透明的加密網(wǎng)絡(luò)通信。
基于SGX、TDX構(gòu)建的云端TEE環(huán)境，再配合遠(yuǎn)程證明等配套服務(wù)，就構(gòu)成了一套完整的面向AI任務(wù)的云端可信方案，可以為數(shù)據(jù)提供全方位的保護(hù)。
數(shù)據(jù)可信計(jì)算：通過(guò)云平臺(tái)機(jī)密容器的構(gòu)建和部署，構(gòu)筑了基于TEE的雙路可信AI沙箱，將AI應(yīng)用的處理流程放入其中，讓用戶隱私數(shù)據(jù)在云端“可用不可見(jiàn)”。
數(shù)據(jù)可信傳輸：業(yè)務(wù)側(cè)對(duì)用戶隱私數(shù)據(jù)進(jìn)行加密傳輸，同時(shí)借助遠(yuǎn)程認(rèn)證服務(wù)，使業(yè)務(wù)開(kāi)發(fā)或運(yùn)維人員也無(wú)法獲取明文數(shù)據(jù)，確保數(shù)據(jù)在傳輸過(guò)程中的安全性。
數(shù)據(jù)可信存儲(chǔ)：業(yè)務(wù)側(cè)對(duì)用戶隱私數(shù)據(jù)進(jìn)行加密存儲(chǔ)，相關(guān)憑據(jù)類(lèi)敏感數(shù)據(jù)也基于"飛地"加密存儲(chǔ)，防止未經(jīng)授權(quán)的訪問(wèn)。
由此可見(jiàn)，這套架構(gòu)不僅可以保護(hù)靜態(tài)數(shù)據(jù)，更是補(bǔ)齊了數(shù)據(jù)在處理和交互中的安全防護(hù)能力，做到在全流程中更好地”保駕護(hù)航”。
在大家熟悉的英特爾??至強(qiáng)??處理器上，相關(guān)安全技術(shù)的探索，早在幾年前AI應(yīng)用還處于訓(xùn)練為主的時(shí)代就已經(jīng)有過(guò)成功用例。
例如阿里云企業(yè)級(jí)ECS實(shí)例g8i方案，就通過(guò)引入第五代英特爾??至強(qiáng)??可擴(kuò)展處理器，構(gòu)建了有彈性可信邊界、且易于將應(yīng)用程序部署在其中的分級(jí)機(jī)密計(jì)算新方案。
基于此，阿里云提供了機(jī)密虛擬機(jī)和機(jī)密容器兩種使用模式，并推出了采用英特爾??TDX的BigDL大模型隱私保護(hù)方案。
不僅能保障AI推理階段，在預(yù)處理、數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練等階段都可以對(duì)使用中的數(shù)據(jù)進(jìn)行保護(hù)，更好地保證數(shù)據(jù)、模型的隱私機(jī)密性。這不僅加強(qiáng)了對(duì)用戶隱私的保護(hù)，也保護(hù)了寶貴的模型資產(chǎn)不被竊取。
還有金融業(yè)的平安科技和其他行業(yè)一些AI應(yīng)用的先鋒，更早時(shí)就曾探索基于SGX技術(shù)來(lái)實(shí)現(xiàn)更安全、更可信的聯(lián)邦學(xué)習(xí)，或者隱私保護(hù)的機(jī)器學(xué)習(xí)應(yīng)用，當(dāng)然這些應(yīng)用也都屬于訓(xùn)練類(lèi)型，也都是面向那些愿意提供自家數(shù)據(jù)來(lái)訓(xùn)練一個(gè)共有模型的多家企業(yè)或機(jī)構(gòu)，讓他們的數(shù)據(jù)在這一過(guò)程中得到更好的保護(hù)。
再來(lái)回顧至強(qiáng)CPU安全能力的進(jìn)化史。英特爾在這條道路上從未止步。
在至強(qiáng)??處理器中，SGX首次作為附加功能出現(xiàn)在第二代英特爾??至強(qiáng)? ?可擴(kuò)展處理器中，并在第三代至強(qiáng)??可擴(kuò)展處理器中成為標(biāo)準(zhǔn)功能。
而TDX首次在2023年隨第四代英特爾??至強(qiáng)??可擴(kuò)展處理器（代號(hào)Sapphire Rapids）引入。第五代至強(qiáng)??可擴(kuò)展處理器進(jìn)一步推廣了TDX技術(shù)，使其在市場(chǎng)上更廣泛可用。
隨著AI技術(shù)的不斷發(fā)展和應(yīng)用場(chǎng)景的不斷擴(kuò)大，加強(qiáng)數(shù)據(jù)隱私和安全的需求將日益凸顯。構(gòu)建云端可信環(huán)境，不僅為云上用戶數(shù)據(jù)提供全方位的保護(hù)，也為大模型、生成式AI的個(gè)人化落地，以及“端云協(xié)同”模式下的數(shù)據(jù)安全與隱私保護(hù)提供了有價(jià)值的參考。
而這一切，都有英特爾??至強(qiáng)??這款服務(wù)器CPU在背后默默發(fā)力和支持。
而今，在最新一代至強(qiáng)??6處理器產(chǎn)品上，不論是6月發(fā)布的能效核（E-core）產(chǎn)品，還是剛剛官宣的，擁有更強(qiáng)單核性能、更高核心/計(jì)算密度、更高能效表現(xiàn)、以及更強(qiáng)內(nèi)存和IO支持的性能核產(chǎn)品——至強(qiáng)6900P系列身上，SGX和TDX都未缺席，正是它們?yōu)檫@些CPU產(chǎn)品增添了“更安全可靠”的定語(yǔ)，也為AI應(yīng)用和數(shù)據(jù)的安全保障帶來(lái)更加可行、可用，易用，好用的保障。
為了科普CPU在AI推理新時(shí)代的玩法，量子位開(kāi)設(shè)了《最“in”AI》專欄，將從技術(shù)科普、行業(yè)案例、實(shí)戰(zhàn)優(yōu)化等多個(gè)角度全面解讀。
我們希望通過(guò)這個(gè)專欄，讓更多的人了解CPU在AI推理加速，甚至是整個(gè)AI平臺(tái)或全流程加速上的實(shí)踐成果，重點(diǎn)就是如何更好地利用CPU來(lái)提升大模型應(yīng)用的性能和效率。
