本文基于RV1106做成的LockAI視覺(jué)識(shí)別模塊，采用 LZ-Picodet 模型訓(xùn)練的人臉檢測(cè)模型 LZ-Face，以及ArcFace人臉識(shí)別模型，實(shí)現(xiàn)人臉識(shí)別系統(tǒng)。

源代碼：https://gitee.com/LockzhinerAI/LockzhinerVisionModule/tree/master/Cpp_example/D03_face_recognition_system

1. 基本知識(shí)講解

1.1 人臉識(shí)別簡(jiǎn)介

人臉識(shí)別是一種利用人的臉部特征進(jìn)行身份識(shí)別的生物識(shí)別技術(shù)。它通過(guò)檢測(cè)圖像或視頻中的人臉，提取如眼睛、鼻子和嘴巴等關(guān)鍵特征點(diǎn)，并將這些信息轉(zhuǎn)化為面部特征向量，進(jìn)而與已知人臉數(shù)據(jù)庫(kù)中的數(shù)據(jù)比對(duì)來(lái)確認(rèn)個(gè)人身份。被廣泛應(yīng)用于安全監(jiān)控、門(mén)禁系統(tǒng)、移動(dòng)設(shè)備解鎖及社交媒體等領(lǐng)域。

1.2 人臉識(shí)別常用方法

人臉識(shí)別主要涉及到以下幾個(gè)關(guān)鍵步驟：人臉檢測(cè)、特征提取和匹配識(shí)別。以下是實(shí)現(xiàn)人臉識(shí)別的常用方法：

深度學(xué)習(xí)方法：現(xiàn)代的人臉識(shí)別系統(tǒng)大多采用深度學(xué)習(xí)方法，并結(jié)合大規(guī)模人臉數(shù)據(jù)庫(kù)和高性能計(jì)算資源，實(shí)現(xiàn)了非常高的識(shí)別精度。

基于模板匹配的方法：通過(guò)將待識(shí)別人臉與預(yù)定義的標(biāo)準(zhǔn)人臉模板進(jìn)行比較來(lái)實(shí)現(xiàn)識(shí)別。

2. C++ API 文檔

2.1 FaceRecognitionSystem類

2.1.1 頭文件

#include

作用：用于聲明FaceRecognitionSystem類，使得FaceRecognitionSystem類可以在當(dāng)前文件中使用。

2.1.2 構(gòu)造類函數(shù)

lockzhiner_vision_module::FaceRecognitionSystemface_system;

作用：用于實(shí)現(xiàn)人臉識(shí)別。

參數(shù)說(shuō)明：

無(wú)

返回值：

無(wú)

2.1.3 Predict函數(shù)

autoresult=face_system.Predict(input_mat);

作用：FaceRecognitionSystem類中的一個(gè)函數(shù)，用于實(shí)現(xiàn)人臉識(shí)別。

參數(shù)說(shuō)明：

input_mat：要識(shí)別的圖像。

返回值：

返回一個(gè)包含人臉識(shí)別結(jié)果的對(duì)象。該對(duì)象包含人臉的id，置信度和人臉的位置信息。

2.2 Visualize函數(shù)

2.2.1 頭文件

#include

作用：用于聲明Visualize函數(shù)，使得Visualize函數(shù)可以在當(dāng)前源文件中使用。

2.2.2 結(jié)果可視化

lockzhiner_vision_module::Visualize(input_mat,output_image,result);

參數(shù)說(shuō)明：

input_mat：原始輸入圖像。

output_image：用于存儲(chǔ)帶有可視化結(jié)果的輸出圖像。

result：輸入?yún)?shù)，表示人臉識(shí)別的結(jié)果。該result對(duì)象包含人臉的id，置信度和人臉的位置信息。

返回值：

無(wú)

3. 綜合代碼解析

3.1 流程圖

3.2 核心代碼解析

初始化人臉識(shí)別模型

lockzhiner_vision_module::FaceRecognitionSystemface_system;

構(gòu)建人臉數(shù)據(jù)庫(kù)

if(!face_system.BuildDatabase(argv[3],argv[4])) {
std::cout<<"Failed to build database."<<std::endl;
return1;
}

調(diào)用攝像頭捕獲圖像

cv::VideoCapturecap;
// 設(shè)置攝像頭獲取幀的寬高
cap.set(cv::CAP_PROP_FRAME_WIDTH,640);
cap.set(cv::CAP_PROP_FRAME_HEIGHT,480);
cap.open(0);

// wihile循環(huán)中的以下代碼用于捕獲圖像幀
cap>>input_mat;
if(input_mat.empty())
{
continue;
}

模型推理

autoresult=face_system.Predict(input_mat);

3.3 完整代碼實(shí)現(xiàn)

#include
#include
#include
#include
#include
#include
#include
#include

usingnamespacestd::chrono;

lockzhiner_vision_module::FaceRecognitionSystemface_system;

intmain(intargc,char*argv[])
{
if(argc!=5)
{
std::cerr<<"Usage: Test-Face-Recognition-System det_model_path "
"rec_model_path database_root crop_root"
<<std::endl;
return1;
}

if(!face_system.Initialize(argv[1],argv[2]))
{
std::cout<<"Failed to initialize face system."<<std::endl;
return1;
}

if(!face_system.BuildDatabase(argv[3],argv[4]))
{
std::cout<<"Failed to build database."<<std::endl;
return1;
}
// 初始化 edit 模塊
lockzhiner_vision_module::Editedit;
if(!edit.StartAndAcceptConnection())
{
std::cerr<<"Error: Failed to start and accept connection."<<std::endl;
returnEXIT_FAILURE;
}
std::cout<<"Device connected successfully."<<std::endl;

cv::VideoCapturecap;
// 設(shè)置攝像頭捕獲幀的寬高
cap.set(cv::CAP_PROP_FRAME_WIDTH,640);
cap.set(cv::CAP_PROP_FRAME_HEIGHT,480);
cap.open(0);

if(!cap.isOpened())
{
std::cerr<<"Error: Could not open camera."<<std::endl;
returnEXIT_FAILURE;
}

cv::Matinput_mat;
while(true)
{
intread_index=0;
inttime_ms=0;
for(inti=0;i<30;i++)
{
// 獲取當(dāng)前時(shí)間點(diǎn)作為開(kāi)始時(shí)間
high_resolution_clock::time_pointstart_time=
high_resolution_clock::now();
cap>>input_mat;
if(input_mat.empty())
{
continue;
}
// 使用 model 對(duì)象的 Predict 方法對(duì)輸入圖像進(jìn)行預(yù)測(cè)
autoresult=face_system.Predict(input_mat);
// 獲取當(dāng)前時(shí)間點(diǎn)作為結(jié)束時(shí)間
high_resolution_clock::time_pointend_time=high_resolution_clock::now();
autotime_span=duration_cast<milliseconds>(end_time-start_time);
time_ms+=time_span.count();
read_index+=1;

cv::Matoutput_image;
lockzhiner_vision_module::Visualize(input_mat,output_image,
result);
// 使用 edit 模塊處理幀
edit.Print(output_image);
}
std::cout<<"Frames per second: "<<1000.0/time_ms*read_index
<<std::endl;
}
// 釋放攝像頭資源
cap.release();
return0;
}

4. 編譯調(diào)試

4.1 編譯環(huán)境搭建

請(qǐng)確保你已經(jīng)按照開(kāi)發(fā)環(huán)境搭建指南正確配置了開(kāi)發(fā)環(huán)境。

同時(shí)已經(jīng)正確連接開(kāi)發(fā)板。

4.2 Cmake介紹

cmake_minimum_required(VERSION3.10)

project(D03_face_recognition_system)

set(CMAKE_CXX_STANDARD17)
set(CMAKE_CXX_STANDARD_REQUIRED ON)

# 定義項(xiàng)目根目錄路徑
set(PROJECT_ROOT_PATH"${CMAKE_CURRENT_SOURCE_DIR}/../..")
message("PROJECT_ROOT_PATH = "${PROJECT_ROOT_PATH})

include("${PROJECT_ROOT_PATH}/toolchains/arm-rockchip830-linux-uclibcgnueabihf.toolchain.cmake")

# 定義 OpenCV SDK 路徑
set(OpenCV_ROOT_PATH"${PROJECT_ROOT_PATH}/third_party/opencv-mobile-4.10.0-lockzhiner-vision-module")
set(OpenCV_DIR"${OpenCV_ROOT_PATH}/lib/cmake/opencv4")
find_package(OpenCV REQUIRED)
set(OPENCV_LIBRARIES"${OpenCV_LIBS}")

# 定義 LockzhinerVisionModule SDK 路徑
set(LockzhinerVisionModule_ROOT_PATH"${PROJECT_ROOT_PATH}/third_party/lockzhiner_vision_module_sdk")
set(LockzhinerVisionModule_DIR"${LockzhinerVisionModule_ROOT_PATH}/lib/cmake/lockzhiner_vision_module")
find_package(LockzhinerVisionModule REQUIRED)

add_executable(Test-face-recognition-system face_recognition_system.cc)
target_include_directories(Test-face-recognition-system PRIVATE${LOCKZHINER_VISION_MODULE_INCLUDE_DIRS})
target_link_libraries(Test-face-recognition-system PRIVATE${OPENCV_LIBRARIES}${LOCKZHINER_VISION_MODULE_LIBRARIES})

install(
TARGETS Test-face-recognition-system
RUNTIME DESTINATION .
)

4.3 編譯項(xiàng)目

使用 Docker Destop 打開(kāi) LockzhinerVisionModule 容器并執(zhí)行以下命令來(lái)編譯項(xiàng)目

# 進(jìn)入Demo所在目錄
cd/LockzhinerVisionModuleWorkSpace/LockzhinerVisionModule/Cpp_example/D03_face_recognition_system
# 創(chuàng)建編譯目錄
rm-rfbuild &&mkdirbuild &&cdbuild
# 配置交叉編譯工具鏈
exportTOOLCHAIN_ROOT_PATH="/LockzhinerVisionModuleWorkSpace/arm-rockchip830-linux-uclibcgnueabihf"
# 使用cmake配置項(xiàng)目
cmake ..
# 執(zhí)行編譯項(xiàng)目
make-j8&&makeinstall

在執(zhí)行完上述命令后，會(huì)在build目錄下生成可執(zhí)行文件。

5. 例程運(yùn)行示例

5.1 運(yùn)行前準(zhǔn)備

請(qǐng)確保你已經(jīng)下載了凌智視覺(jué)模塊人臉檢測(cè)模型

請(qǐng)確保你已經(jīng)下載了凌智視覺(jué)模塊人臉識(shí)別模型

5.2 運(yùn)行過(guò)程

在凌智視覺(jué)模塊輸入以下命令：

chmod777Test-face-recognition-system
./Test-face-recognition-system LZ-Face LZ-ArcFace BaseDataset CropDataset

5.3 運(yùn)行效果