基于DPU的云原生裸金屬網(wǎng)絡(luò)解決方案

1. 方案背景和挑戰(zhàn)

裸金屬服務(wù)器是云上資源的重要部分，其網(wǎng)絡(luò)需要與云上的虛擬機和容器互在同一個VPC下，并且能夠像容器和虛擬機一樣使用云的網(wǎng)絡(luò)功能和能力。

傳統(tǒng)的裸金屬服務(wù)器使用開源的 OpenStack Ironic?組件，配合 OpenStack Neutron?網(wǎng)絡(luò)實現(xiàn)。

傳統(tǒng)方案1：在Neutron使用VLAN網(wǎng)絡(luò)時，每個VPC網(wǎng)絡(luò)會分配一個唯一的VLAN標簽。通過在裸金屬服務(wù)器的網(wǎng)卡上配置相應(yīng)交換機端口的VLAN標簽，使其與目標網(wǎng)絡(luò)的VLAN標簽匹配，就可以將裸金屬服務(wù)器的網(wǎng)絡(luò)切換到對應(yīng)的VPC中。

盡管VLAN網(wǎng)絡(luò)在流量管理和網(wǎng)絡(luò)隔離方面具有較高效率，但也存在一些缺點：

• 可擴展性有限，僅支持4096個VLAN，不能應(yīng)用在大規(guī)模和復(fù)雜環(huán)境中；
• 管理復(fù)雜，需要一致性配置和手動維護；
• 廣播域限制，可能導(dǎo)致網(wǎng)絡(luò)擁塞。

為了解決傳統(tǒng)方案1的擴展性和管理靈活性問題，業(yè)界逐漸開始采用傳統(tǒng)方案2：利用SDN交換機進行VXLAN/Geneve處理。裸金屬服務(wù)器通過VLAN接入SDN交換機，后者負責對數(shù)據(jù)包進行封裝，然后將流量引入對應(yīng)的VPC網(wǎng)絡(luò)，實現(xiàn)裸機與虛擬機互通。如下圖所示：

這種方案相比傳統(tǒng)方案1，提升了網(wǎng)絡(luò)的可擴展性，通過Overlay網(wǎng)絡(luò)提高了網(wǎng)絡(luò)可擴展性、靈活性和安全性。但是，這種方案仍面臨很多問題與挑戰(zhàn)：

1. 網(wǎng)絡(luò)架構(gòu)割裂問題：該方案未能實現(xiàn)虛擬網(wǎng)絡(luò)與裸機網(wǎng)絡(luò)架構(gòu)的統(tǒng)一管理，導(dǎo)致兩者的配置和管理流程存在差異，增加了運維團隊的學(xué)習(xí)成本和操作復(fù)雜度。這種割裂不僅減緩了網(wǎng)絡(luò)變更的響應(yīng)速度，還可能引發(fā)配置錯誤，影響網(wǎng)絡(luò)的穩(wěn)定性和一致性。
2. 成本與維護負擔：依賴SDN交換機進行網(wǎng)絡(luò)封裝處理，雖然帶來了技術(shù)上的進步，但同時也引入了額外的硬件采購與維護成本。這些交換機的部署與升級都需要專業(yè)的技術(shù)支持，且設(shè)備本身的價格不菲，長期來看對預(yù)算造成壓力。此外，特定品牌和型號的SDN交換機可能限制了技術(shù)選型的自由度，影響網(wǎng)絡(luò)架構(gòu)的擴展性和兼容性，不利于技術(shù)迭代和未來升級。
3. 靈活性與擴展性局限：在該方案中，裸金屬服務(wù)器僅通過單一物理網(wǎng)卡接入SDN交換機，這種連接方式的固定性，限制了網(wǎng)絡(luò)接口的靈活性和擴展能力。尤其是缺乏熱插拔支持，意味著在需要調(diào)整網(wǎng)絡(luò)配置或增加網(wǎng)絡(luò)帶寬時，必須停機操作，這不僅影響了業(yè)務(wù)連續(xù)性，也降低了數(shù)據(jù)中心的運維效率和資源的快速調(diào)配能力。

綜上所述，盡管傳統(tǒng)方案2在一定程度上改善了網(wǎng)絡(luò)的擴展性和安全性，但其存在的架構(gòu)復(fù)雜性、較高的成本投入、以及有限的靈活性和擴展性，成為制約裸金屬服務(wù)高效運營和未來發(fā)展的主要障礙。因此，探索更優(yōu)化的網(wǎng)絡(luò)解決方案，以實現(xiàn)網(wǎng)絡(luò)架構(gòu)的統(tǒng)一管理、降低成本負擔、并增強靈活性與擴展性，顯得尤為迫切。

2. 方案介紹

2.1. 整體方案架構(gòu)

本方案基于DPU的網(wǎng)絡(luò)能力，采用開源 Kubernetes?底座架構(gòu)，以O(shè)VN/OVS做為網(wǎng)絡(luò)轉(zhuǎn)發(fā)面，整體架構(gòu)如下圖所示：

在集群架構(gòu)中，裸金屬服務(wù)器既可以單獨使用，也可以作為Worker節(jié)點加入Kubernetes集群，部署Pod或虛擬機（VM）。無論是作為裸金屬服務(wù)器，還是作為Worker節(jié)點，網(wǎng)絡(luò)I/O均由DPU卸載，并通過OVN進行統(tǒng)一管理。在使用SmartNIC或普通網(wǎng)卡的Worker節(jié)點中，OVN的流表管理和下發(fā)邏輯保持不變，僅將網(wǎng)絡(luò)I/O交由主機側(cè)處理。整體方案采用統(tǒng)一的OVN控制器進行策略下發(fā)和調(diào)度，實現(xiàn)DPU裸機網(wǎng)絡(luò)與Pod/VM之間的網(wǎng)絡(luò)互通。

本方案的關(guān)鍵組件為自研，包括以下組件：

●?bmctl：類似于 kubectl?的一個便于操作裸金屬的命令行工具。

● ycloud-cni：為裸金屬提供虛擬網(wǎng)卡配置功能，實現(xiàn)CNI接口，并對本地 OVS網(wǎng)絡(luò)進行配置。

● ycloud-ovn-controller：該組件執(zhí)行K8S內(nèi)資源到OVN資源的翻譯工作，其作用相當于SDN系統(tǒng)的控制平面。監(jiān)聽所有和網(wǎng)絡(luò)相關(guān)的資源事件，并根據(jù)資源變化情況更新OVN內(nèi)的邏輯網(wǎng)絡(luò)。

2.1. 方案詳細描述

裸金屬的網(wǎng)絡(luò)完全由DPU卡來配置，裸金屬機器本身可以不攜帶任何物理網(wǎng)卡，而是通過DPU提供的PF/VF設(shè)備作為網(wǎng)卡設(shè)備。這些設(shè)備由DPU SOC（SOC?可以靈活對軟件升級和部署服務(wù)）側(cè)的OVS進行配置，而不依賴外部交換機，可以實現(xiàn)VXLAN、Geneve等各種虛擬網(wǎng)絡(luò)，本方案具有性能優(yōu)越、靈活性強、部署簡化、管理統(tǒng)一、高可擴展性等優(yōu)點，是一種高效和可靠的裸金屬網(wǎng)絡(luò)解決方案。如下圖所示：

在裸金屬方案中，網(wǎng)卡被抽象為彈性虛機網(wǎng)卡（VNic）對象，由bm-controller根據(jù)用戶需求創(chuàng)建VNic對象，并由Ycloud-cni組件將VNic綁定到裸金屬。在這個過程中，bm-controller會為Host側(cè)分配PF/VF，并調(diào)用OVS將相應(yīng)的端口綁定到OVS網(wǎng)橋，進行必要的配置。這種方案無需更改交換機的配置，同時將控制面和數(shù)據(jù)面都卸載到DPU中處理，使得管理流程與虛擬網(wǎng)絡(luò)中的POD/VM基本一致。唯一的區(qū)別在于本地虛擬網(wǎng)絡(luò)設(shè)備的生成過程，使用Ycloud-cni-ds處理配置DPU本地網(wǎng)絡(luò)。如下圖所示：

總體來說，基于DPU的裸金屬網(wǎng)絡(luò)方案為裸金屬服務(wù)器提供了靈活且高效的網(wǎng)絡(luò)管理解決方案。

基于DPU的裸金屬方案使用DPU的VF設(shè)備提供網(wǎng)卡功能，動態(tài)配置網(wǎng)卡，無需冗余網(wǎng)卡。Ycloud-cni組件負責管理PF/VF設(shè)備，實現(xiàn)網(wǎng)卡的動態(tài)插拔和配置。相比原生Ironic的冗余網(wǎng)卡需求，這種方案更靈活高效，避免資源浪費。 DPU提供數(shù)百個以上的VF，足以滿足不同用戶需求，使得網(wǎng)卡的熱插拔變得簡單而高效，提高資源利用率。

3. 測試與驗證

3.1. 資源創(chuàng)建

與其他k8s?資源的創(chuàng)建類似，裸金屬的通過一個yaml描述進行創(chuàng)建，同時創(chuàng)建POD、VM：

裸機yaml中網(wǎng)絡(luò)信息：

VM yaml中的網(wǎng)絡(luò)信息：

POD yaml中的網(wǎng)絡(luò)信息：

查看資源信息如下：

創(chuàng)建后，可通過?kubectl?命令查看：

裸機可以看到bm-01、bm-02及?bm-node3三個裸金屬實例，均為?Running?狀態(tài)。

我們提供了類似 kubectl?的一個 bmctl?命令行工具，方便進行管理維護。通過該命令，可以方便的進行登錄、重啟、網(wǎng)卡插拔等操作：

3.2. 聯(lián)通性

驗證BM跟POD和VM的網(wǎng)絡(luò)互通情況

裸機和POD互通：

裸機和VM互通：

3.3. 熱插拔

通過提供的 bmctl?命令行工具操作。

添加網(wǎng)卡：

查看網(wǎng)卡：

刪除網(wǎng)卡：

查看網(wǎng)卡bm-02

3.4. 統(tǒng)一管理

K8S?納管DPU節(jié)點，且DPU SOC中使用OVS，可以看到pf0hpf使用的是馭數(shù)的驅(qū)動。

4. 總結(jié)

4.1. 統(tǒng)一管理方案優(yōu)勢

DPU賦能的裸金屬網(wǎng)絡(luò)解決方案，在以下幾個方面具有顯著優(yōu)勢：

1. 精簡網(wǎng)絡(luò)架構(gòu)，提升管理效率：通過將Overlay網(wǎng)絡(luò)的終結(jié)點設(shè)在DPU層面，該方案有效精簡了網(wǎng)絡(luò)層級，削減了不必要的組件，從而大幅降低了網(wǎng)絡(luò)架構(gòu)的復(fù)雜度。這一設(shè)計不僅增強了網(wǎng)絡(luò)的可管理性，還為未來的擴展需求奠定了靈活的基礎(chǔ)。
2. 優(yōu)化設(shè)備配置，實現(xiàn)成本與效率雙贏：采用DPU為核心的技術(shù)路徑，該方案成功減少了對物理交換機的依賴，從根本上簡化了網(wǎng)絡(luò)設(shè)備配置，降低了硬件成本及運維開支。此舉不僅經(jīng)濟高效，也為網(wǎng)絡(luò)環(huán)境的輕量化與高效運作提供了有力支撐。
3. 增強網(wǎng)絡(luò)接口靈活性，確保業(yè)務(wù)連續(xù)性：得益于DPU的動態(tài)特性，支持網(wǎng)絡(luò)接口的熱插拔成為可能。這意味著在服務(wù)器持續(xù)運行的同時，可以根據(jù)需要輕松添加或移除網(wǎng)絡(luò)接口，確保了業(yè)務(wù)的不間斷與基礎(chǔ)設(shè)施的即時適應(yīng)性。
4. 統(tǒng)一控制，深化SDN潛能：整合統(tǒng)一的SDN控制器，實現(xiàn)策略精準下發(fā)與智能調(diào)度，不僅超越了傳統(tǒng)VLAN的限制，兼容VXLAN和Geneve等先進技術(shù)，還內(nèi)置了SDN ACL安全策略，模擬云環(huán)境下的安全組功能，強化了網(wǎng)絡(luò)安全防護。這一策略不僅統(tǒng)一了管理界面，簡化了SDN軟件棧，還顯著提高了網(wǎng)絡(luò)的靈活性和響應(yīng)速度，降低了維護難度，確保了網(wǎng)絡(luò)管理的高效與直觀。

綜上所述，DPU驅(qū)動的裸金屬網(wǎng)絡(luò)方案通過一系列創(chuàng)新設(shè)計，從根本上重塑了網(wǎng)絡(luò)的部署與管理方式，為追求高效、靈活及安全的現(xiàn)代數(shù)據(jù)中心提供了強有力的支持。

本方案來自于中科馭數(shù)軟件研發(fā)團隊，團隊核心由一群在云計算、數(shù)據(jù)中心架構(gòu)、高性能計算領(lǐng)域深耕多年的業(yè)界資深架構(gòu)師和技術(shù)專家組成，不僅擁有豐富的實戰(zhàn)經(jīng)驗，還對行業(yè)趨勢具備敏銳的洞察力，該團隊致力于探索、設(shè)計、開發(fā)、推廣可落地的高性能云計算解決方案，幫助最終客戶加速數(shù)字化轉(zhuǎn)型，提升業(yè)務(wù)效能，同時降低運營成本。