淺談基于云網(wǎng)關的深度報文檢測技術

作者：鄒立，單位：中國移動智慧家庭運營中心

近年來，隨著用戶需求的多樣化和網(wǎng)絡應用的日益豐富，網(wǎng)絡新業(yè)務層出不窮，比如：P2P、VoIP、流媒體、Web TV和虛擬現(xiàn)實等。這些新業(yè)務吸納了大量的客戶資源，但由于一些新業(yè)務數(shù)據(jù)流量過于龐大，比如P2P和流媒體等業(yè)務，在網(wǎng)絡中消耗帶寬資源較多，打破了傳統(tǒng)IP 網(wǎng)絡“高帶寬、低負載”的? QoS 提供模式，在一定程度上加重了網(wǎng)絡擁塞，帶來帶寬管理、內容計費、信息安全、輿論管控等一系列新的問題。同時，當網(wǎng)絡中某種業(yè)務流量過大時，很有可能導致其他業(yè)務流量帶寬被擠占，造成鏈路傳輸?shù)挠行幚砟芰档停瑥亩绊懻麄€鏈路的正常傳輸能力，降低了網(wǎng)絡的整體轉發(fā)性能。

因此，網(wǎng)絡設備亟需一種有效的技術監(jiān)管手段，能對具體業(yè)務進行感知和識別，從而實現(xiàn)對業(yè)務的運行情況進行有效管理。

為了解決上述問題，智慧家庭運營中心基于云網(wǎng)關設計和自研了一種深度報文檢測（Deep Packet Inspection，簡稱DPI）系統(tǒng)來提高網(wǎng)絡對業(yè)務報文信息的感知和識別能力，從而實現(xiàn)對網(wǎng)絡中各類應用的業(yè)務流量行為進行管控。

1、系統(tǒng)架構

DPI系統(tǒng)架構采用轉控分離的思想進行設計，主要包括數(shù)據(jù)轉發(fā)面和控制管理面，控制管理面主要完成對規(guī)則的配置管理工作，數(shù)據(jù)轉發(fā)面主要完成對報文應用層協(xié)議的解析和轉發(fā)等工作。通過將數(shù)據(jù)轉發(fā)面和控制管理面分離開來，對業(yè)務進行更好地維護和管理，從而提高系統(tǒng)的可維護性和可擴展性。

從控制管理層面上看，DPI各個業(yè)務模塊的需求都可以抽象化成“規(guī)則”，基于這些規(guī)則定義可以生成不同的“分類”對象；規(guī)則同時具有“使能狀態(tài)、報文動作”等屬性，內部還設置有特征、選項等關鍵字部件。 控制管理層面的工作在用戶態(tài)完成，主要工作包括：

統(tǒng)一開放格式的規(guī)則管理；

統(tǒng)一開放格式的特征庫加載和文件解析；

配置變更和下發(fā)流程管理，包括引擎的編譯和下發(fā)、規(guī)則的下發(fā)，以及它們的板間同步。

從數(shù)據(jù)轉發(fā)層面上看，DPI各個業(yè)務需求都需要對應用層協(xié)議進行解析、解碼和搜索。為了保證高效轉發(fā)和單次報文處理，有別于傳統(tǒng)防火墻的設計思路，在新一代安全產(chǎn)品的實現(xiàn)過程中必須有并行的檢測引擎，盡可能保證只對報文進行一次處理。數(shù)據(jù)轉發(fā)層面的需求主要在內核態(tài)進行處理，涉及到的幾個功能模塊如下：

協(xié)議解析器；

搜索算法引擎；

檢測結果處理模塊（又稱報文動作處理模塊），一般是在I/O 接口的處理流程中。

圖1 DPI系統(tǒng)框架

DPI系統(tǒng)架構如圖1所示，這種將控制管理層和數(shù)據(jù)轉發(fā)層相互獨立的設計模型，使得CPU密集型的引擎預處理（編譯和下發(fā)）和高性能的搜索算法過程分離在用戶態(tài)和內核態(tài)，也可以使得我們的預處理和匹配在不同的單板甚至不同的設備上進行，易于保證轉發(fā)流程的檢測持續(xù)性和穩(wěn)定性，匹配也易于由軟件查表擴展成硬件處理器來完成。

2、報文檢測

DPI即深度包檢測，所謂的“深度”是相對于傳統(tǒng)的IP數(shù)據(jù)包檢測技術而言的，如圖2所示，傳統(tǒng)的IP數(shù)據(jù)包檢測僅僅分析IP報文應用層以下的內容，例如，根據(jù)接收到的IP報文的五元組信息（包括源地址、目的地址、源端口、目的端口以及協(xié)議類型）對數(shù)據(jù)報文進行分類處理，而DPI則對報文進行更深層次的檢測，包括對報文進行應用層的分析或基于流量特征的檢測，識別出報文對應的應用層業(yè)務類型或提取其中的應用層關鍵信息用于后續(xù)業(yè)務處理。

圖2 普通報文檢測和深度報文檢測區(qū)別

普通報文檢測是通過端口號來識別應用類型的，比如：當檢測到端口號為80時，就默認此應用協(xié)議為HTTP協(xié)議；當檢測到端口號為443時，則默認此應用協(xié)議為HTTPS協(xié)議。但實際上，出于對應用安全性的考慮，通常不會使用默認端口來暴露業(yè)務能力，此時采用L2~L4層的傳統(tǒng)檢測方法就無能為力了。而DPI 技術能高效識別出網(wǎng)絡上的各種應用類型，前提是后臺需要維護一個龐大的應用特征數(shù)據(jù)庫，當流量經(jīng)過時，DPI通過將解包后得到的應用信息與后臺的特征數(shù)據(jù)庫進行匹配來確定應用類型。因此，當有新的應用出現(xiàn)時，后臺的應用特征數(shù)據(jù)庫也需要更新才能對具有新型應用的識別和控制能力。

3、特征識別

基于特征字的識別技術是現(xiàn)網(wǎng)DPI 解析中命中流量最主要的DPI 技術，其原理就是不同的業(yè)務或應用通常有特殊的“指紋”，這些指紋可能是特定的字符串或者比特流，例如URL就是典型的特征字?；谶@些特征字，通過對數(shù)據(jù)流中特定數(shù)據(jù)報文中的“指紋”信息進行檢測來確定業(yè)務流承載的應用類型。此外，還可以基于荷載的特征進行識別，通過對應用層協(xié)議交互過程中報文的內容進行分析，找出不同于其他協(xié)議的模式特征，根據(jù)各種協(xié)議特有的模式特征來確定所屬協(xié)議類型?；谪撦d的協(xié)議識別一般采用固定字符串和正則表達式來表示特征，正則表達式比固定字符串具有更強的表達能力和更好的靈活性，已成為研究DPI技術的熱點。本文介紹的基于云網(wǎng)關的深度報文檢測系統(tǒng)也是基于正則表達式來實現(xiàn)的，由正則表達式組成的應用特征庫如圖3所示。

圖3 應用特征庫

DPI根據(jù)自身的應用特征庫與數(shù)據(jù)報文進行匹配，當DPI接收到數(shù)據(jù)報文時，先對數(shù)據(jù)報文進行解析，提取報文的五元組信息和特征字信息。 如圖4所示，從報文應用層提取的特征字信息為Host信息，根據(jù)此Host信息依次與應用特征庫中的特征信息進行匹配，并獲取相應的標記結果。

圖4 Wireshark抓取報文信息

如若從報文應用層獲取的特征字信息與應用特征庫中的特征信息成功匹配，則可在應用特征庫中查找到該特征信息對應的業(yè)務類型，并給該報文流打上相應的業(yè)務標記；如若未能成功匹配，就給報文打上一個未知標記，并將報文特征字信息及其標記結果更新到特征表中，后續(xù)云網(wǎng)關將根據(jù)特征表對報文流進行策略分流處理，特征表部分特征信息如表1所示。

表1 特征表

4、策略分流

特征匹配完成后，業(yè)務報文都會被打上一層應用類型的標記結果，云網(wǎng)關根據(jù)標記結果對報文進行策略路由選路，打上未知標記的報文都統(tǒng)一被送到公網(wǎng)服務器進行卸載，而打上其他標記結果的業(yè)務報文被分別送往不同的業(yè)務服務器進行分流處理。報文內部轉發(fā)過程如圖5所示，上述QQ業(yè)務類型的報文經(jīng)過特征識別后會打上標記tag8，云網(wǎng)關根據(jù)標記結果配置相應的策略路由指定下一跳轉發(fā)，這樣QQ業(yè)務報文就被送到IP為192.168.2.10的業(yè)務服務器進行業(yè)務處理了。

圖5 報文內部轉發(fā)過程

5、總結

基于云網(wǎng)關的深度報文檢測系統(tǒng)通過對報文的應用信息進行感知和識別，實現(xiàn)了對網(wǎng)絡中各項具體業(yè)務運行情況的有效管理，主要包括業(yè)務識別、業(yè)務控制以及業(yè)務統(tǒng)計功能。

1） 業(yè)務識別：主要分為對運營商開通的合法業(yè)務和運營商需要進行監(jiān)管的業(yè)務進行識別，第一類業(yè)務可以通過IP五元組來進行識別，第二類業(yè)務需要通過DPI技術來進行深度檢測，通過解析數(shù)據(jù)包來確定業(yè)務具體內容和信息。

2）業(yè)務控制：可以根據(jù)既定的策略對網(wǎng)絡進行配置，從而對業(yè)務流實現(xiàn)控制，主要包括轉發(fā)流向、限制帶寬、阻斷、整形、丟棄等處理。

3）業(yè)務統(tǒng)計：根據(jù)DPI的識別結果對一定時間內的流量行為進行統(tǒng)計，包括：流量流向、業(yè)務占比、訪問網(wǎng)站TOPN等。統(tǒng)計應用類型的使用比率調整該業(yè)務的服務優(yōu)先級，統(tǒng)計用戶正在使用哪種業(yè)務進行視頻播放、即時通訊、購物支付以及游戲娛樂，也可以統(tǒng)計出消耗網(wǎng)絡帶寬的非法P2P、VOIP等業(yè)務。

參考文獻

[1]?https://www.cnblogs.com/qingchen1984/p/6482961.html, 2017.3.1.