在MacOS上編譯OpenVINO C++項(xiàng)目 | 開發(fā)者實(shí)戰(zhàn)

作者：英特爾邊緣計(jì)算創(chuàng)新大使??顏國進(jìn)

前言

英特爾公司發(fā)行的模型部署工具 OpenVINO? 模型部署套件，可以實(shí)現(xiàn)在不同系統(tǒng)環(huán)境下運(yùn)行，且發(fā)布的 OpenVINO? 2023 最新版目前已經(jīng)支持 MacOS 系統(tǒng)并同時(shí)支持在蘋果 M 系列芯片上部署模型。在該項(xiàng)目中，我們將向大家展示如何在 MacOS 系統(tǒng)、M2芯片的 Macbook Air 電腦上，展示使用 OpenVINO? C++ API 部署深度學(xué)習(xí)模型。

1. OpenVINO?

英特爾發(fā)行版 OpenVINO? 工具套件基于 oneAPI 而開發(fā)，可以加快高性能計(jì)算機(jī)視覺和深度學(xué)習(xí)視覺應(yīng)用開發(fā)速度工具套件，適用于從邊緣到云的各種英特爾平臺上，幫助用戶更快地將更準(zhǔn)確地真實(shí)世界結(jié)果部署到生產(chǎn)系統(tǒng)中。通過簡化的開發(fā)工作流程，OpenVINO? 可賦能開發(fā)者在現(xiàn)實(shí)世界中部署高性能應(yīng)用程序和算法。

OpenVINO? 2023.2 于 2023 年 11 月 16 日發(fā)布，該工具包帶來了挖掘生成人工智能全部潛力的新功能。更多的生成式 AI 覆蓋和框架集成，以最大限度地減少代碼更改，并且擴(kuò)展了對直接 PyTorch 模型轉(zhuǎn)換的模型支持。支持更多新的模型，包括 LLaVA、chatGLM、Bark 和 LCM 等著名模型。支持更廣泛的大型語言模型（LLM）和更多模型壓縮技術(shù)，支持運(yùn)行時(shí)推理支持以下 Int4 模型壓縮格式，通過神經(jīng)網(wǎng)絡(luò)壓縮框架（NNCF） 進(jìn)行本機(jī) Int4 壓縮等一系列新的功能。

通過 OpenVINO? 官網(wǎng)信息，我們可以看出，目前 OpenVINO?已經(jīng)能夠在蘋果 MacOS 系統(tǒng)、M 系列芯片上運(yùn)行，這為使用 MacOS 系統(tǒng)的開發(fā)者提供了很好的工具。因此在此處，我們將在 MacOS 系統(tǒng)、M2芯片的 Macbook Air 電腦上，展示使用 OpenVINO? C++ API 部署深度學(xué)習(xí)模型的詳細(xì)流程。

2. OpenVINO? 下載

官方在發(fā)布版本中已經(jīng)提供 MacOS 系統(tǒng)的編譯庫，因此在此處我們只需要下載官方編譯庫即可。

首先訪問 OpenVINO? 網(wǎng)站，依次選擇版本號、操作系統(tǒng)、安裝方式等內(nèi)容，然后點(diǎn)擊下載，如下圖所示：

OpenVINO? 官網(wǎng)：https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/download.html

下面是官方編譯的文件，此處主要提供了兩個(gè)版本，一個(gè)是適用于蘋果電腦之前的版本，主要是 MacOS 10 以及之前的版本系統(tǒng)并且使用的是 Intel CPU，另一個(gè)是使用了蘋果的 M 系列芯片的新版本電腦，主要是 MacOS 11 之后的系統(tǒng)。大家可以根據(jù)自己的電腦進(jìn)行選擇：

下載完后，將該文件解壓到任意文件夾，在此處為了方便后續(xù)使用一集更新，將其解壓到用戶文件夾，如下圖所示：

后續(xù)我們會使用 CMake 進(jìn)行項(xiàng)目編譯，因此我們此處無需再做其他的設(shè)置。

其他環(huán)境配置：

● MacOS：14.2.1

● CMake：3.28

● Make：3.81

●?編譯軟件：Visual Studio Code

● OpenCV：4.8.0 其他環(huán)境配置此處不做過多贅述，OpenCV 環(huán)境安裝可以參考下述文章實(shí)現(xiàn)：【OpenCV】在 MacOS 上源碼編譯 OpenCV

3. 代碼實(shí)現(xiàn)

此處我們以 Yolov8圖片分類模型為例進(jìn)行項(xiàng)目測試，由于該模型之前我們已經(jīng)多次使用，所以在此處不再做耕作的闡述，具體代碼如下所示：

#include <iostream>#include <string>#include <vector>#include <algorithm>#include <sys/time.h>#include "openvino/openvino.hpp" //openvino header file#include "opencv2/opencv.hpp" ? ?//opencv header file
int main(int argc, char* argv[]){ ? ?ov::Version version = ov::get_openvino_version(); ? ?std::cout << version.description << ": " << version.buildNumber << std::endl;
 ? ?// -------- Step 1. Initialize OpenVINO Runtime Core -------- ? ?ov::Core core;
 ? ?// -------- Step 2. Compile the Model -------- ? ?auto compiled_model = core.compile_model("yolov8s-cls.xml", "CPU");
 ? ?// -------- Step 3. Create an Inference Request -------- ? ?ov::InferRequest infer_request = compiled_model.create_infer_request();
 ? ?// -------- Step 4.Read a picture file and do the preprocess -------- ? ?cv::Mat img = cv::imread("image.jpg");  ? ?// Preprocess the image ? ?int col = img.cols; ? ?int row = img.rows; ? ?int _max = MAX(col, row); ? ?cv::Mat letterbox_img = cv::Mat::zeros(_max, _max, CV_8UC3); ? ?img.copyTo(letterbox_img(cv::Rect(0, 0, col, row))); ? ? ? ?cv::Mat blob = cv::dnn::blobFromImage(letterbox_img, 1.0 / 255.0, cv::Size(224, 224), cv::Scalar(), true);
 ? ?// -------- Step 5. Feed the blob into the input node of the Model ------- ? ?// Get input port for model with one input ? ?auto input_port = compiled_model.input(); ? ?std::cout << "The shape of input tensor:" << input_port.get_shape() << std::endl; ? ?// Create tensor from external memory ? ?ov::Tensor input_tensor(input_port.get_element_type(), input_port.get_shape(), blob.ptr(0)); ? ?// Set input tensor for model with one input ? ?infer_request.set_input_tensor(input_tensor);
 ? ?// -------- Step 6. Start inference -------- ? ?infer_request.infer(); ? ?struct timeval start_time, end_time; ? ?gettimeofday(&start_time,NULL); ? ?infer_request.infer(); ? ?gettimeofday(&end_time,NULL); ? ?// Get the elapsed millisecond time ? ?double elapsed_time = (end_time.tv_sec - start_time.tv_sec)*1000 + (end_time.tv_usec - start_time.tv_usec)/1000; ? ?// -------- Step 7. Get the inference result -------- ? ?auto output = infer_request.get_output_tensor(0); ? ?auto output_shape = output.get_shape(); ? ?std::cout << "The shape of output tensor:" << output_shape << std::endl;
 ? ?// -------- Step 8. Postprocess the result -------- ? ?float* output_buffer = output.data<float>(); ? ?std::vector<float> result(output_buffer, output_buffer + output_shape[1]); ? ?auto max_idx = std::max_element(result.begin(), result.end()); ? ?int class_id = max_idx - result.begin(); ? ?float score = *max_idx; ? ?std::cout << "Class ID:" << class_id << " Score:" <<score<< std::endl; ? ?std::cout << "infer time:" <<elapsed_time<< std::endl; ? ?return 0;}

在該代碼中，主要是獲取 OpenVINO? 版本信息，然后按照模型部署流程部署測試了 Yolov8 圖片分類模型，并打印輸出結(jié)果以及推理時(shí)間。

4. 項(xiàng)目編譯運(yùn)行

在該項(xiàng)目中通過 CMake 編譯項(xiàng)目，定義的 CMakeLists.txt 文件如下所示：

cmake_minimum_required(VERSION 3.28)project(test_openvino)set(OpenCV_DIR /Users/ygj/3lib/opencv_4.8.0/lib/cmake/opencv4)find_package(OpenCV REQUIRED)message(STATUS "OpenCV_DIR = ${OpenCV_DIR}")message(STATUS "OpenCV_INCLUDE_DIRS = ${OpenCV_INCLUDE_DIRS}")message(STATUS "OpenCV_LIBS = ${OpenCV_LIBS}")set(OpenVINO_DIR /Users/ygj/3lib/openvino_2023.2/runtime/cmake)set(OpenVINO_LIBs "/Users/ygj/3lib/openvino_2023.2/runtime/lib/arm64/Release/libopenvino.2320.dylib")set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++11")include_directories( ?/Users/ygj/3lib/openvino_2023.2/runtime/include ? ${OpenCV_INCLUDE_DIRS})add_executable(test_openvino test_openvino.cpp )target_link_libraries(test_openvino ${OpenVINO_LIBs} ${OpenCV_LIBS})

在這個(gè) CMakeLists 文件中，需要同時(shí)配置 OpenCV 以及 OpenVINO? 這兩個(gè)依賴庫，具體編譯以及配置方式參考 CMake 手冊。

接下來就可以項(xiàng)目編譯了，在終端中輸入一下命令，就可以進(jìn)行項(xiàng)目配置了，輸出結(jié)果如下所示：

cmake .

接下來就是進(jìn)行項(xiàng)目編譯，CMake 編譯后會生成 Makefile 文件，之后就可以運(yùn)行 make 命令進(jìn)行項(xiàng)目最后的編譯，然后就可以直接運(yùn)行生成的項(xiàng)目文件，如下所示：

make./test_openvino

上圖中展示了項(xiàng)目最后運(yùn)行結(jié)果，可以看出，此處使用的模型輸入大小為[1,3,224,224]，輸出大小為[1,1000]，識別結(jié)果 Class ID=386，查看分類結(jié)果字典，圖片識別結(jié)果與圖片一致；模型的推理時(shí)間為：7ms。

5. 總結(jié)

該項(xiàng)目中，我們在 MacOS 14.2.1 系統(tǒng)、M2 芯片的 Macbook Air 電腦上，成功使用 OpenVINO? C++ API 部署了 Yolov8 圖片分類深度學(xué)習(xí)模型，并詳細(xì)演示了 OpenVINO? C++ API 在蘋果電腦上使用與配置流程，為使用 MacOS 系統(tǒng)的開發(fā)者提供了很好的范例與參考。