還只會用json和xml？是時候掌握Google Protocol Buffer了

Protocol Buffer是一種免費(fèi)開源的跨平臺輕量級高效結(jié)構(gòu)化數(shù)據(jù)存儲格式，可以編譯成各種語言的代碼，包括C++、Java、C#、Python等等。在平時的開發(fā)中，我們經(jīng)常會用到j(luò)son和xml這兩種數(shù)據(jù)存儲格式。不過，Protocol Buffer相比于它們更加的簡單，序列化和反序列化的速度更快，數(shù)據(jù)體積更加小，簡單上手，這樣的工具誰不愛呢？目前，也已經(jīng)有很多大廠在將其應(yīng)用到自己的項目之中。真的是Google出品，必屬精品??！是不是已經(jīng)迫不及待想要嘗試一下？

安裝

在使用Protocol Buffer之前，我們需要先安裝它。不過，由于某些原因大陸無法直接訪問官方下載，我們可以從github上進(jìn)行下載。大家也可在下方留言或私信獲取。

github下載地址：https://github.com/protocolbuffers/protobuf/releases

linux平臺安裝

我們選擇一個版本的cpp版本的壓縮包，以protobuf-cpp-3.17.3.tar.gz為例，將下載的壓縮包放到/var目錄下并進(jìn)行解壓，解壓命令如下：

tar -zxvf protobuf-cpp-3.17.3.tar.gz

解壓

進(jìn)入解壓后的protobuf-3.17.3目錄，查看目錄中是否有configure可執(zhí)行文件，如果沒有，可以通過執(zhí)行./autogen.sh生成。

protobuf

接下來執(zhí)行下面的命令進(jìn)行配置、編譯和安裝，編譯過程需要一定的時間，大家要耐心等待。這里注意我們的環(huán)境需要事先安裝好g++和make工具，否則就要悲劇了～

./configure --prefix=/usr/local/protobuf
make
make install

安裝完成后，我們還需要將安裝目錄在/etc/profile文件中添加到環(huán)境變量（如下），然后，執(zhí)行source /etc/profile即可生效。

export PATH=$PATH:/usr/local/protobuf/bin/
export PKG_CONFIG_PATH=/usr/local/protobuf/lib/pkgconfig/

當(dāng)然，為了安全考慮，我們還可以在當(dāng)前用戶的~/.bashrc中添加。

環(huán)境變量配置完成后，我們就可以使用protoc --version進(jìn)行查看是否安裝成功了。

version

Windows安裝：方法一

對于Windows版本，已經(jīng)預(yù)編譯生成了protoc可執(zhí)行程序并發(fā)布了出來，如果僅僅只是在window平臺下編寫消息格式并生成對應(yīng)格式的源碼，就直接下載protoc可執(zhí)行程序即可。

我們選擇對應(yīng)Windows版本的release包下載，再把下載完成后的壓縮包對其進(jìn)行解壓。這里為了方便測試我就解壓到了C:protoc目錄下。

protoc-win

解壓后，我們可以發(fā)現(xiàn)會有兩個子目錄分別是bin和include。其中，protoc編譯器執(zhí)行程序就在bin目錄里。接下來，我們需要將剛剛解壓好的bin子目錄地址添加到環(huán)境變量PATH中，添加完成后就可以使用了。

環(huán)境變量Path

執(zhí)行protoc --version可以查看版本信息，檢查是否安裝成功。

version

Windows安裝：方法二

當(dāng)然，如果需要在Windows平臺進(jìn)行基于Protocol Buffer的應(yīng)用編譯的話，還需要根據(jù)源代碼制作lib庫和頭文件，因?yàn)闆]有Protocol Buffer的庫和相應(yīng)的頭文件的話，我們的應(yīng)用是沒法編譯通過的。

接下來，我們一起探究如何編譯protocol buffer的源碼并安裝，大家一定事先準(zhǔn)備好CMake和VS哦！

由于我們下載的是最新3.17.3版本的源碼，它需要c++11支持，因此，需要安裝VS2015以上的版本。這點(diǎn)很重要，會省掉很多不必要的麻煩。

對于CMake，我們可以在命令行中執(zhí)行cmake --version，確認(rèn)是否配置好環(huán)境變量，否則需要將cmake的安裝目錄加到環(huán)境變量中。

cmake

環(huán)境準(zhǔn)備好之后，我們就可以開工啦！

同樣的我們需要先解壓源碼壓縮包protobuf-cpp-3.17.3.tar.gz，打開VS的開發(fā)命令行Developer Command Prompt（我們可以從開始菜單中查找），進(jìn)入源碼的cmake目錄。

Developer Command Prompt

由于不同的工程有不同的配置，我們需要創(chuàng)建一個目錄build來存放cmake生成的工程配置。

mkdir build & cd build

接下來，我們就可以使用CMake工具構(gòu)建VS工程啦！

這里我們以VS2019為例，執(zhí)行下面的命令：

mkdir vs2019 & cd vs2019
cmake -G "Visual Studio 16 2019" ^
-DCMAKE_INSTALL_PREFIX=../../../../install ^
../..

如下圖，VS工程就在vs2019目錄下生成成功啦！

vs2019工程目錄

如下圖，在CMake構(gòu)建工程的過程中可能出現(xiàn)找不到編譯器的情況，就有可能是VS2019缺少某些包導(dǎo)致，檢查是否安裝相應(yīng)的安裝包。

找不到編譯器

這里因?yàn)槿鄙倭薈RT SDK沒有安裝導(dǎo)致了這種錯誤，安裝之后，問題解決。

CRT SDK

現(xiàn)在我們就可以使用VS2019打開protobuf.sln，在Build菜單中選擇Build Solution對整個工程進(jìn)行編譯。等待片刻之后，整個工程即可編譯完成。

編譯成功

現(xiàn)在我們就可以到編譯輸出目錄（這里是Debug目錄）將生成的靜態(tài)庫libprotobufd.lib libprotocd.lib以及可執(zhí)行程序protoc.exe取出使用了。

靜態(tài)庫和可執(zhí)行程序

我們可以把編譯生成的protoc.exe放在C:protocprotoc-3.17.3-debugbin目錄,libprotobufd.lib libprotocd.lib兩個靜態(tài)庫放在C:protocprotoc-3.17.3-debuglib目錄。然后，再將這兩個目錄添加到環(huán)境變量中。

如果你按照方法一已經(jīng)安裝過官方編譯好的protoc.exe，別忘了將方法一配置的環(huán)境變量刪掉。

我們知道只有靜態(tài)庫沒有頭文件是沒法使用的，所以還需要相應(yīng)的頭文件。在vs2019目錄下已經(jīng)生成了一個腳本extract_includes.bat，我們只需運(yùn)行此腳本，便會生成一個include文件夾，我們將其復(fù)制到C:protocprotoc-3.17.3-debug目錄下，并將其添加到環(huán)境變量中即可。

生成頭文件

安裝好了之后，我們來看看如何使用protocol buffer呢？準(zhǔn)備好，要開始上代碼啦！

消息格式

首先，需要定義一個消息格式。新建一個文件hello.proto用來自定義一個消息格式，添加內(nèi)容如下：

syntax = 'proto3';

package msg;

message helloworld{

int32 id = 1 ;
string str = 2;
optional int32 opt = 3;

}

proto文件可以用來定義消息數(shù)據(jù)類型，文件開頭的syntax可以指定proto3或proto2,缺省情況下是proto2。

正如上面我們定義的消息格式，在定義消息時，消息中的每一個字段需要有如下部分組成：

• 數(shù)據(jù)類型（field type）
• 名字(field name)
• 標(biāo)識號(unique number)
• 字段規(guī)則

上面的helloworld數(shù)據(jù)類型中使用了int32和string兩種類型，當(dāng)然，它不僅支持使用一些簡單的數(shù)據(jù)類型，也可以支持使用自定義的數(shù)據(jù)類型以及枚舉類型等。下表是一些常見的數(shù)據(jù)類型：

數(shù)據(jù)類型

標(biāo)識號是指每個字段都需要一個唯一的編號，它決定了數(shù)據(jù)的二進(jìn)制數(shù)據(jù)的格式，而且一旦消息被使用之后，這個值是不能被修改的。

大家應(yīng)該發(fā)現(xiàn)在上面的helloworld消息中，字段定義中并沒有字段規(guī)則，這是什么原因？

字段在定義時除了類型，名字和標(biāo)識號之外，還需要一個字段規(guī)則作為修飾符，在proto3中字段規(guī)則主要有以下2種：

• singular：它是proto3的默認(rèn)規(guī)則，可以設(shè)置也可以不設(shè)置它的值
• repeated: 可以認(rèn)為是動態(tài)分配的數(shù)組

不過，對于proto2除了repeated還有下面2種：

• optional: 可以設(shè)置，也可以不設(shè)置它的值，這個是和proto3里的singular是類似的；
• required: 必須設(shè)置它的值

生成源碼

定義好了消息格式后，之前安裝的protoc編譯器就可以派上用場啦！protoc編譯器通過這個格式文件，就可以生成對應(yīng)語言的源代碼，這里我們選擇生成的是C++的源碼?？梢允褂萌缦旅钌蒀++源碼：

protoc -I=. --cpp_out=. hello.proto
注意，命令中的幾個參數(shù)：

• -I指明了.proto文件所在的具體目錄，如果省略這個參數(shù)，則使用當(dāng)前的目錄；
• 參數(shù)--cpp_out=./是指定在當(dāng)前目錄生成c++源碼文件；
• hello.proto是我們定義的消息格式文件。

所以，在hello.proto之前是有一個空格的哦！

生成源碼

命令執(zhí)行完成后，我們將會在消息格式目錄下面找到生成的源碼文件hello.pb.cc和hello.pb.h。

源碼文件

對于這一部分linux和Windows平臺區(qū)別不大。

讀寫消息

一切已經(jīng)就緒，就差一個栗子了，哈哈！下面我就可以使用生成的源碼進(jìn)行讀寫數(shù)據(jù)了。這里我們將編寫這樣一個例子，將數(shù)據(jù)寫到hello.data文件中，然后再將文件中的內(nèi)容讀取出來。廢話不多說，直接上代碼！

// test.cpp

#include <iostream>
#include <fstream>
#include "hello.pb.h"

int main()
{
msg::helloworld m1;
m1.set_id(1);
m1.set_str("hello world");
m1.set_opt(3);

std::fstream f1("hello.data", std::ios::out | std::ios::trunc | std::ios::binary);
if(!m1.SerializeToOstream(&f1))
{
std::cout << "save data error" << std::endl;
return -1;
}
f1.close();
std::cout << "write data to hello.data successfully!!!" << std::endl;
std::cout << std::endl;

std::fstream f2("hello.data", std::ios::in | std::ios::binary);
msg::helloworld m2;
if(!m2.ParseFromIstream(&f2))
{
std::cout << "parse data error" << std::endl;
return -1;
}
f2.close();

std::cout << "read data from hello.data" << std::endl;
std::cout << "id = " << m2.id() << std::endl;
std::cout << "std = " << m2.str() << std::endl;
std::cout << "opt = " << m2.opt() << std::endl;

return 0;
}

大家有沒有發(fā)現(xiàn)？這里我們可以很方便的調(diào)用生成的API對數(shù)據(jù)進(jìn)行操作，是不是簡單而又方便？

編譯和運(yùn)行

想必大家應(yīng)該已經(jīng)知道到最終的輸出結(jié)果是什么了吧？我們將自動生成的消息代碼hello.pb.cc hello.pb.h和測試代碼test.cpp放到一起，通過c++編譯器生成一個可執(zhí)行文件，看看是不是如大家所想的那樣？

下面我們分別用Linux平臺和Windows平臺驗(yàn)證一下結(jié)果。

Linux平臺

我們在上面的安裝這一步驟中已經(jīng)配置好protocol buffer的Linux平臺開發(fā)環(huán)境，將源碼按照下面的命令進(jìn)行編譯即可。

g++ hello.pb.cc test.cpp -o test `pkg-config --cflags --libs protobuf` -lprotobuf -std=c++11 -lpthread

這里需要注意的是，在編譯時需要添加-lprotobuf -std=c++11 -lpthread等參數(shù)，否則會有驚喜出現(xiàn)哦！

一切順利，最終生成了可執(zhí)行文件test，我們再執(zhí)行./test看看結(jié)果如何？

結(jié)果

最后，再來看一下我的測試工程目錄結(jié)構(gòu)：

工程目錄

windows平臺

我們使用vs2019創(chuàng)建一個新項目test，并將hello.pb.cc hello.pb.h和測試代碼test.cpp添加到工程中。

test工程

接下來，我們還需要再對工程進(jìn)行一些配置，首先將之前生成的頭文件目錄和靜態(tài)鏈接庫目錄配置到項目屬性中。

添加頭文件和靜態(tài)庫目錄

然后，再添加依賴，將libprotobufd.lib libprotocd.lib兩個靜態(tài)庫名字添加到依賴中。（Linker -> Input -> Additional Dependencies）

添加依賴

由于之前的protocol buffer工程的運(yùn)行庫是MTD方式，如果要使用其生成的靜態(tài)庫就需要當(dāng)前的工程相匹配，因此，這里我們也選擇MTD方式，否則，在鏈接時將會出現(xiàn)運(yùn)行時不匹配的錯誤。

Runtime Library

最后，編譯完成后，運(yùn)行觀察結(jié)果。

運(yùn)行結(jié)果

至此，大家都應(yīng)該已經(jīng)學(xué)會如何使用protocol buffer了吧？

最后

無疑protocol buffer是一個非常強(qiáng)大的存在，廣受眾多開發(fā)者的一致好評。然而，世界上沒有絕對完美的東西，protocol buffer也是如此。由于protocol buffer是以二進(jìn)制的方式進(jìn)行存儲的，在可讀性方面就沒那么友好了，它就無法像xml那樣進(jìn)行直接的編輯和修改。當(dāng)然，工具是死的人是活的，只要我們知道.proto文件的格式，我們就可以通過工具對其進(jìn)行修改，來提高便利性。