人脸识别3：C/C++ InsightFace实现人脸识别Face Recognition(含源码)

目录

1. 前言

2. 项目安装

（1）项目结构

（2）配置开发环境(OpenCV+OpenCL+base-utils+TNN)

（3）部署TNN模型

（4）CMake配置

（5）编译运行

3. 人脸识别系统

（1）人脸识别的核心算法

（2）人脸检测和关键点检测

（3）人脸校准

（4）人脸特征提取

（5）人脸比对(1:1)

（6）人脸搜索(1:N)

（7）配置文件config

（8）人脸识别优化建议

4. 人脸识别C/C++ Demo效果

5. 人脸识别Python版本源码下载

6. 人脸识别Android版本源码下载

7. 人脸识别Python版本源码下载

1. 前言

这是项目《人脸识别Face Recognition》系列之《C/C++ InsightFace实现人脸识别Face Recognition》；项目基于开源ArcFace(也称InsightFace)模型搭建一套完整的C/C++人脸识别系统（Face Recognition or Face Identification）；我们将开发一个简易的、可实时运行的人脸识别C/C++ Demo。C/C ++版本人脸识别模型推理支持CPU和GPU加速，在GPU(OpenCL)加速下，可以达到实时的人脸识别效果，非常适合在Linux开发板和Android系统开发板上部署。

整套人脸识别系统核心算法包含人脸检测和人脸关键点检测，人脸校准，人脸特征提取以及人脸比对(1:1)和人脸搜索(1:N)。本项目人脸识别系统可以达到目前商业级别的人脸识别准确率，在误识率(FAR)0.1%的情况下，可提供99.78%的通过率(TAR)；可以满足人脸比对，人脸签到、人脸门禁、人员信息查询、安防监控等人脸识别应用场景。

C/C++版本人脸检测和人脸识别效果

PS：由于opencv不支持显示中文，绘图时用姓名拼音首字母代替

C/C++版本人脸识别效果Python版本人脸识别效果

【尊重原创，转载请注明出处】https://blog.csdn.net/guyuealian/article/details/130600571

更多项目《人脸识别Face Recognition》系列文章请参考：

  1. 人脸识别1：人脸识别数据集https://blog.csdn.net/guyuealian/article/details/130600545
  2. 人脸识别2：InsightFace实现人脸识别Face Recognition(含源码下载)https://blog.csdn.net/guyuealian/article/details/130600472
  3. 人脸识别3：C/C++ InsightFace实现人脸识别Face Recognition(含源码)https://blog.csdn.net/guyuealian/article/details/130600571
  4. 人脸识别4：Android InsightFace实现人脸识别Face Recognition(含源码)https://blog.csdn.net/guyuealian/article/details/130600600

2. 项目安装

项目IDE开发工具使用CLion，相关依赖库主要有OpenCV，base-utils以及TNN和OpenCL(可选)，其中OpenCV必须安装，OpenCL用于模型加速，base-utils以及TNN已经配置好，无需安装；

项目仅在Ubuntu18.04进行测试，Windows系统下请自行配置好开发环境。

（1）项目结构

（2）配置开发环境(OpenCV+OpenCL+base-utils+TNN)

项目仅在Ubuntu18.04进行测试，Windows系统下请自行配置和编译

  • 安装OpenCV：图像处理

图像处理（如读取图片，图像裁剪等）都需要使用OpenCV库进行处理

安装教程：Ubuntu18.04安装opencv和opencv_contrib_AI吃大瓜的博客-CSDN博客_opencv opencv_contrib ubuntu

OpenCV库使用opencv-4.3.0版本，opencv_contrib库暂时未使用，可不安装

  • 安装OpenCL：模型加速

安装教程：Ubuntu16.04 安装OpenCV&OpenCL_xiaozl_284的博客-CSDN博客_clinfo源码下载

OpenCL用于模型GPU加速，若不使用OpenCL进行模型推理加速，纯C++推理模型，速度会特别特别慢

  • base-utils：C++库

GitHub：https://github.com/PanJinquan/base-utils （无需安装，项目已经配置了）

base_utils是个人开发常用的C++库，集成了C/C++ OpenCV等常用的算法

  • TNN：模型推理

GitHub：https://github.com/Tencent/TNN（无需安装，项目已经配置了）

由腾讯优图实验室开源的高性能、轻量级神经网络推理框架，同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。TNN框架在原有Rapidnet、ncnn框架的基础上进一步加强了移动端设备的支持以及性能优化，同时借鉴了业界主流开源框架高性能和良好拓展性的特性，拓展了对于后台X86, NV GPU的支持。手机端 TNN已经在手机QQ、微视、P图等众多应用中落地，服务端TNN作为腾讯云AI基础加速框架已为众多业务落地提供加速支持。

（3）部署TNN模型

项目模型推理采用TNN部署框架（支持多线程CPU和GPU加速推理）；图像处理采用OpenCV库，模型加速采用OpenCL，在普通电脑设备即可达到实时处理。

（4）CMake配置

这是CMakeLists.txt，其中主要配置OpenCV+OpenCL+base-utils+TNN这四个库，Windows系统下请自行配置和编译

cmake_minimum_required(VERSION 3.5)project(Detector)add_compile_options(-fPIC) # fix Bug: can not be used when making a shared objectset(CMAKE_CXX_FLAGS "-Wall -std=c++11 -pthread")#set(CMAKE_CXX_FLAGS_RELEASE "-O2 -DNDEBUG")#set(CMAKE_CXX_FLAGS_DEBUG "-g")if (NOT CMAKE_BUILD_TYPE AND NOT CMAKE_CONFIGURATION_TYPES)# -DCMAKE_BUILD_TYPE=Debug# -DCMAKE_BUILD_TYPE=Releasemessage(STATUS "No build type selected, default to Release")set(CMAKE_BUILD_TYPE "Release" CACHE STRING "Build type (default Debug)" FORCE)endif ()# opencv setfind_package(OpenCV REQUIRED)include_directories(${OpenCV_INCLUDE_DIRS} ./src/)#MESSAGE(STATUS "OpenCV_INCLUDE_DIRS = ${OpenCV_INCLUDE_DIRS}")# base_utilsset(BASE_ROOT 3rdparty/base-utils) # 设置base-utils所在的根目录add_subdirectory(${BASE_ROOT}/base_utils/ base_build) # 添加子目录到build中include_directories(${BASE_ROOT}/base_utils/include)include_directories(${BASE_ROOT}/base_utils/src)MESSAGE(STATUS "BASE_ROOT = ${BASE_ROOT}")# TNN set# Creates and names a library, sets it as either STATIC# or SHARED, and provides the relative paths to its source code.# You can define multiple libraries, and CMake builds it for you.# Gradle automatically packages shared libraries with your APK.# build for platformif (CMAKE_SYSTEM_NAME MATCHES "Android")set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)set(TNN_ARM_ENABLE ON CACHE BOOL "" FORCE)set(TNN_BUILD_SHARED OFF CACHE BOOL "" FORCE)set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)# Multi-Thread#set(TNN_HUAWEI_NPU_ENABLE OFF CACHE BOOL "" FORCE)add_definitions(-DTNN_OPENCL_ENABLE) # for OpenCL GPUadd_definitions(-DTNN_ARM_ENABLE)# for Android CPUadd_definitions(-DDEBUG_ANDROID_ON)# for Android Logadd_definitions(-DPLATFORM_ANDROID)elseif (CMAKE_SYSTEM_NAME MATCHES "Linux")set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)set(TNN_CPU_ENABLE ON CACHE BOOL "" FORCE)set(TNN_X86_ENABLE ON CACHE BOOL "" FORCE)set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL "" FORCE)set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)# Multi-Threadadd_definitions(-DTNN_OPENCL_ENABLE) # for OpenCL GPUadd_definitions(-DDEBUG_ON)# for WIN/Linux Logadd_definitions(-DDEBUG_LOG_ON)# for WIN/Linux Logadd_definitions(-DDEBUG_IMSHOW_OFF)# for OpenCV showadd_definitions(-DPLATFORM_LINUX)elseif (CMAKE_SYSTEM_NAME MATCHES "Windows")set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)set(TNN_CPU_ENABLE ON CACHE BOOL "" FORCE)set(TNN_X86_ENABLE ON CACHE BOOL "" FORCE)set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL "" FORCE)set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)# Multi-Threadadd_definitions(-DTNN_OPENCL_ENABLE) # for OpenCL GPUadd_definitions(-DDEBUG_ON)# for WIN/Linux Logadd_definitions(-DDEBUG_LOG_ON)# for WIN/Linux Logadd_definitions(-DDEBUG_IMSHOW_OFF)# for OpenCV showadd_definitions(-DPLATFORM_WINDOWS)endif ()set(TNN_ROOT 3rdparty/TNN)include_directories(${TNN_ROOT}/include)include_directories(${TNN_ROOT}/third_party/opencl/include)add_subdirectory(${TNN_ROOT}) # 添加外部项目文件夹set(TNN -Wl,--whole-archive TNN -Wl,--no-whole-archive)# set TNN libraryMESSAGE(STATUS "TNN_ROOT = ${TNN_ROOT}")# dlcv库include_directories(src)set(SRC_LISTsrc/face_alignment.cppsrc/face_recognizer.cppsrc/face_feature.cppsrc/object_detection.cppsrc/Interpreter.cpp)add_library(dlcv SHARED ${SRC_LIST})target_link_libraries(dlcv${TNN}${OpenCV_LIBS}base_utils)MESSAGE(STATUS "DIR_SRCS = ${SRC_LIST}")# demoadd_executable(test_face_landmark test_face_landmark.cpp)add_executable(test_alignment test_alignment.cpp)add_executable(test_compare_face test_compare_face.cpp)add_executable(test_register test_register.cpp)add_executable(test_search_face test_search_face.cpp)target_link_libraries(test_face_landmark dlcv -lpthread)target_link_libraries(test_alignment dlcv -lpthread)target_link_libraries(test_compare_face dlcv -lpthread)target_link_libraries(test_register dlcv -lpthread)target_link_libraries(test_search_face dlcv -lpthread)

（5）编译运行

在Ubuntu系统终端输入： bash build.sh

#!/usr/bin/env bashif [ ! -d "build/" ];thenmkdir "build"elseecho "exist build"ficd buildcmake ..make -j4sleep 1# 测试人脸检测和关键点检测效果./test_face_landmark# 测试人脸校准效果./test_alignment#测试人脸识别1:1比对./test_compare_face# 测试注册人脸，生成人脸数据库./test_register# 测试1:N人脸搜索,支持测试图片，视频和摄像头./test_search_face

./test_face_landmark ：测试人脸检测和关键点检测效果

./test_alignment ：测试人脸校准效果

./test_compare_face ：测试人脸识别1:1比对

./test_register：测试注册人脸，生成人脸数据库

./test_search_face：测试1:N人脸搜索,支持测试图片，视频和摄像头

3. 人脸识别系统

人脸识别主要包含人脸比对(1:1)和人脸搜索(1:N)两大功能，涉及的核心算法主要包含：人脸检测和人脸关键点检测，人脸校准，人脸特征提取以及人脸比对(1:1)和人脸搜索(1:N)；当然，实际业务中，可能还会增加人脸质量检测以及活体识别等算法，碍于篇幅，后续再分享活体识别算法。

下图给出本项目人脸识别系统算法实现架构流程图：

（1）人脸识别的核心算法

项目src/face_recognizer.h实现了人脸识别的核心算法，包含人脸检测和人脸关键点检测，人脸校准，人脸特征提取以及人脸比对(1:1)和人脸搜索(1:N)等功能，用于可以参考该头文件，实现人脸识别的基本功能

//// Created by 390737991@qq.com on 2018/6/3.//#ifndef FACE_RECOGNITION_H#define FACE_RECOGNITION_H#include "Types.h"#include "face_feature.h"#include "object_detection.h"#include using namespace std;typedef map<string, vector> FeatureData;namespace dl {namespace vision {class FaceRecognizer {public:/*** * 初始化人脸识别 * @param det_tnnmodel 人脸检测模型 *.tnnmodel参数文件路径（含后缀名） * @param det_tnnproto 人脸检测模型 *.tnnproto模型文件路径（含后缀名） * @param rec_tnnmodel 人脸特征提取模型 *.tnnmodel参数文件路径（含后缀名） * @param rec_tnnproto 人脸特征提取模型 *.tnnproto模型文件路径（含后缀名） * @param database 人脸数据库特征路径database(注册人脸后生成的特征文件) * @param embeddingSize 特征维度 * @param alignment 是否进行人脸校准 * @param num_thread 开启线程数(CPU) * @param device 运行设备，支持CPU和GPU(OpenCL) */FaceRecognizer(string det_tnnmodel, string det_tnnproto, string rec_tnnmodel, string rec_tnnproto, string database, int embeddingSize = 512, bool alignment = true, int num_thread = 4, DeviceType device = CPU);/** * release space */~FaceRecognizer();/*** * 清空人脸数据库(会删除所有已经注册的人脸数据，谨慎操作) */void clearDatabase();/*** * 注册人脸 * @param face_id输入人脸ID(如姓名、学号，身份证等标识) * @param face_fea 输入人脸特征 */bool add_face(string face_id, vector face_fea);/*** * 注册人脸(会进行人脸检测，人脸校准和人脸特征提取) * @param face_id输入人脸ID(如姓名、学号，身份证等标识) * @param imgBGR 输入原始图像(必须只包含一个人) * @param frameInfo 输出人脸检测结果 * @param det_conf_thresh 人脸检测置信度阈值 * @param det_iou_thresh人脸检测NMS的IOU阈值 */bool add_face(string face_id, cv::Mat &imgBGR, FrameInfo &frameInfo,float det_conf_thresh, float det_iou_thresh);/*** * 注销(删除)人脸 * @param face_id 输入人脸ID(如姓名、学号，身份证等标识) */void del_face(string face_id);/*** * 获取人脸特性底库数据 * @return */FeatureData getDatabase();/*** * 设置人脸特性底库数据 * @param face_database */void setDatabase(FeatureData &face_database);/*** * 生成人脸特征底库数据 * @param portrait人脸数据库图像路径,用于注册人脸 * @param det_conf_thresh 人脸检测置信度阈值 * @param det_iou_thresh人脸检测NMS的IOU阈值 * @param alignment是否进行人脸校准 * @return */int createDatabase(string portrait, float det_conf_thresh = 0.5, float det_iou_thresh = 0.3);int update();/*** * 保存人脸特征地库数据 * @return */int save();/** * 加载人脸特征地库数据 * @param database人脸地库数据的目录 * @return */int load(string database);/*** * 人脸特征匹配 * @param faceInfo 人脸信息（单个人脸） * @param rec_conf_thresh 人脸识别阈值，低于该值，人脸ID为unknown，表示未知 */void embeddingMatching(ObjectInfo *faceInfo, float rec_conf_thresh = 0.8);/*** * 人脸特征匹配 * @param frameInfo人脸信息（多个人脸） * @param rec_conf_thresh 人脸识别阈值，低于该值，人脸ID为unknown，表示未知 */void searchFace(FrameInfo *frameInfo, float rec_conf_thresh = 0.8);/*** * 进行人脸检测 * @param imgBGR 输入BGR格式图片 * @param frameInfo 输出人脸信息（多个人脸） * @param max_face最大人脸个数，默认为-1，表示全部人脸 * @param det_conf_thresh 人脸检测置信度阈值 * @param det_iou_thresh 人脸检测IOU阈值 */void detectFace(cv::Mat &imgBGR, FrameInfo *frameInfo,float det_conf_thresh = 0.5, float det_iou_thresh = 0.5);/*** * 提取人脸特征 * @param imgBGR 输入BGR格式图片 * @param frameInfo 输入人脸信息（多个人脸） * @param alignment 是否进行人脸校准 * @return */int getFeature(cv::Mat &imgBGR, FrameInfo *frameInfo, bool alignment);/*** * 进行人脸检测和人脸校准，并提取人脸特征,相当于detectFace+getFeature * @param imgBGR 输入BGR格式图片 * @param frameInfo 输出人脸信息（多个人脸） * @param max_face最大人脸个数，默认为-1，表示全部人脸 * @param det_conf_thresh 人脸检测置信度阈值 * @param det_iou_thresh 人脸检测IOU阈值 */void detectExtractFeature(cv::Mat &imgBGR,FrameInfo *frameInfo,int max_face = -1,float det_conf_thresh = 0.5,float det_iou_thresh = 0.5);/*** * 进行人脸检测,1:N人脸搜索 * @param imgBGRBGR图像 * @param frameInfo输入/输出人脸识别结果 * @param det_conf_thresh 人脸检测置信度阈值 * @param det_iou_thresh 人脸检测IOU阈值 * @param rec_conf_thresh人脸识别阈值，低于该值，人脸ID为-1，表示未知 * @param alignment 是否需要进行人脸校准，FrameInfo需要提供5个人脸关键点进行人脸校准 */void detectSearch(cv::Mat &imgBGR,FrameInfo *frameInfo,int max_face = -1,float det_conf_thresh = 0.5,float det_iou_thresh = 0.5,float rec_conf_thresh = 0.5);/*** * 进行人脸检测,1:1人脸比对 * @param image1 * @param image2 * @param face_info1 * @param face_info2 * @param det_conf_thresh * @param det_iou_thresh * @return */float compareFace(cv::Mat &image1, cv::Mat &image2,FrameInfo *face_info1, FrameInfo *face_info2,float det_conf_thresh, float det_iou_thresh);/*** * 比较两个人脸特征的相似分数，值越大，越相似 * @param feature1 人脸特征 * @param feature2 人脸特征 * @return 返回两个特征的相似性，取值范围(0,1.0) */static float compareFeature(vector &feature1, vector &feature2);/*** * 比较两个特征的相似距离(欧式距离)，值越小，越相似 * @param feature1 人脸特征 * @param feature2 人脸特征 * @return 返回两个特征的欧式距离，取值范围(0,+∞) */static float compareDist(vector &feature1, vector &feature2);/*** * 人脸距离到人脸相似分数的映射 * @param x欧式距离的值 * @param mean 均值,默认meam=1.40 * @param std方差,默认std=0.2 * @return 返回人脸相似分数(0,1),值越大越相似 */static float getScore(float x, float mean = 1.40f, float std = 0.2f);/*** * 可视化人脸识别结果 * @param imgBRG * @param frameInfo * @param waitKey */static cv::Mat visualizeResult(string title, cv::Mat &imgBRG, FrameInfo *frameInfo, int waitKey = 0);private:string database;int mEmbeddingSize;bool mAlignment = true;ObjectDetection *pFaceDetector = nullptr;FaceFeature *pFaceFeature = nullptr;FeatureData mDataBase; // 人脸特征DataBase};}}#endif //

（2）人脸检测和关键点检测

人脸检测的方法比较多，项目Python版本人脸识别提供两种人脸检测方法：一种是基于MTCNN的通用人脸检测模型，另一种是轻量化的、快速的RFB人脸检测模型；这个两个模型都能实现人脸检测，并同时预测人脸的五个关键点(Landmark)。C/C++版本版本只提供RFB人脸检测和关键点检测模型。

模型Paper源码说明
MTCNNPaperLink
  • 支持人脸检测和人脸关键点检测(5个点)
  • 通用场景人脸检测，计算量较大，适合PC服务器部署
RFBPaperLink
  • 支持人脸检测和人脸关键点检测(5个点)
  • 轻量级人脸检测，适合简单场景人脸检测，计算量较小，适合嵌入式，开发板，Android等终端部署
  • MTCNN人脸检测参考项目：GitHub – Sierkinhane/mtcnn-pytorch: A face detection algorithm
  • RFB人脸检测参考项目：GitHub – Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB: 1MB lightweight face detection model (1MB轻量级人脸检测模型)
  • 项目test_face_landmark.cpp实现了人脸检测和关键检测的功能，编译完成后，终端运行
# 测试人脸检测和关键点检测效果./test_face_landmark

下图是RFB模型人脸检测和人脸关键点(Landmark)检测效果

  • 人脸关键点(Landmark)：共预测五个人脸关键点，分别为：左眼中心点，右眼中心点，鼻尖中心点以及左嘴角和右嘴角
  • 利用Landmark信息，后续可以通过仿射变换，对人脸进行校准，获得相对比较正的人脸。人脸校准可以有效提升人脸识别的效果

（3）人脸校准

利用Landmark信息，可以通过仿射变换，对人脸进行校准，获得相对比较正的人脸，项目src/face_alignment.h模块提供人脸校准算法。

其中实现思路是：

利用OpenCV的estimateAffine2D()函数估计人脸关键点(5个landmark)和参考人脸关键点(reference landmark)的仿射变换矩阵M，再根据仿射变换矩阵M矫正人脸图像

下图给出人脸校准的效果图，其中【image】是原始图像，而【FaceAlignment】是最终矫正的人脸效果图。

  • 项目test_alignment.cpp实现了人脸校准的功能，编译完成后，终端运行
# 测试人脸校准效果./test_alignment

（4）人脸特征提取

项目基于开源的ArcFace(也称InsightFace)训练框架，开发并优化了三个版本的人脸识别模型：mobilenet_v2，IR-18(resnet18优化版)以及IR-50(resnet50优化版)，用于人脸特征提取

ArcFace：GitHub – TreB1eN/InsightFace_Pytorch: Pytorch0.4.1 codes for InsightFace

模型LFWCFP_FFCFP_FPAgeDBCALFWCPLFW
resnet5099.7899.6998.1497.5395.8792.45
resnet1899.5599.6197.7496.5294.6690.01
mobilenet_v299.2399.2790.7493.2293.5788.69

resnet50和resnet18参数量比较大，计算量较大，适合在PC服务器部署 ；而mobilenet_v2

模型计算量较小，适合嵌入式，开发板，Android等终端部署。

（5）人脸比对(1:1)

1:1人脸比对(也称人脸验证，身份验证)，即将两张人脸进行1:1比对，得到人脸相似度，来判断是否是同一个人，一般用作人证比对等场景，比如银行卡/QQ/微信/支付宝等账号登录时人脸身份验证。

  • 项目实现了1:1人脸比对功能(test_compare_face.cpp)，编译完成后，测试1:1人脸比对，可在终端运行：
#测试人脸识别1:1比对./test_compare_face

运行结果如下：

（6）人脸搜索(1:N)

1:N人脸搜索，将一张人脸和N张人脸进行比对，找出最相似的一张或多张人脸，即1:N人脸搜索。可用作人脸签到、人脸门禁、人员信息查询、安防监控等应用场景。

项目实现了1:N人脸搜索功能，需要提前生成人脸数据库(Face database)，先录入注册人脸数据

database人脸图像要求满足以下：

  • 图片按照[ID-XXXX.jpg]命名,如:张三-image.jpg，作为人脸识别的底图
  • 个人照片可以是个人证件照，生活照，肖像照片，要求五官清晰且正脸的照片，不能出现多个人脸的情况
  • 尽量不要出现过度美颜，头发遮挡，低头侧脸等问题

  • 由于C++版本的opencv不支持显示中文，绘图时用姓名拼音首字母代替，如刘亦菲，简称LYF；Python版本可正常显示中文字符

项目test_register.cpp实现人脸数据库(database)人脸注册功能，编译完成后，可在终端运行：

# 图片按照[ID-XXXX.jpg]命名,如:张三-image.jpg，作为人脸识别的底图# 人脸肖像照片要求五官清晰且正脸的照片，不能出现多个人脸的情况# 测试注册人脸，生成人脸数据库./test_register

运行结果如下：

如果需要注册新人，请参考如下步骤：

  1. 采集一张新人的个人照片，以张三的照片为例子
  2. 照片保存在人脸数据库中(data/database/portrait)中，图片按照[ID-XXXX.jpg]命名,如:张三-image.jpg，作为人脸识别的底图
  3. 然后运行test_register，完成人脸数据库的人脸注册

完成人脸注册后，下一步可以进行1:N人脸搜索，实现人脸识别的功能

  • 项目test_search_face.cpp实现了1:N人脸搜索功能，支持图片，视频和摄像头测试，编译完成后，终端输入：
# 测试1:N人脸搜索,支持测试图片，视频和摄像头./test_search_face
//// Created by 390737991@qq.com on 2018/6/3.//#include #include #include #include "object_detection.h"#include "face_recognizer.h"#include "config.h"#include "file_utils.h"#include using namespace std;using namespace dl;using namespace vision;/*** * 1:N人脸搜索,测试图片文件 */void test_search_face_image() {// 测试图片数据string image_dir = "../data/test_image";string output = "../output";//初始化人脸识别FaceRecognizer *faceReg = new FaceRecognizer(det_tnnmodel, det_tnnproto, rec_tnnmodel, rec_tnnproto, database, embeddingSize, alignment, num_thread, GPU);// 获得所有图片std::vector image_list = get_files_list(image_dir);for (const string &image_file:image_list) {string basename = get_basename(image_file);printf("load image file: %s\n", image_file.c_str());// 读取测试图片cv::Mat bgr_image = cv::imread(image_file);if (bgr_image.empty()) continue;// 创建FrameInfo结构体，用于缓存检测和识别等结果FrameInfo frameInfo;// 进行1:N人脸搜索faceReg->detectSearch(bgr_image, &frameInfo, -1, det_conf_thresh, det_iou_thresh, rec_conf_thresh);// 可视化人脸识别结果cv::Mat vis_image = dl::vision::FaceRecognizer::visualizeResult("Recognizer", bgr_image, &frameInfo, 0);string out_file = path_joint(output, basename);printf("save image file: %s\n", out_file.c_str());image_save(out_file, vis_image);}delete faceReg;faceReg = nullptr;printf("FINISHED.\n");}/*** * 1:N人脸搜索,测试视频文件 */void test_search_face_video() {//视频文件夹string video_file = "../data/test-video.mp4";//初始化人脸识别FaceRecognizer *faceReg = new FaceRecognizer(det_tnnmodel, det_tnnproto, rec_tnnmodel, rec_tnnproto, database, embeddingSize, alignment, num_thread, GPU);cv::VideoCapture cap;bool ret = get_video_capture(video_file, cap);cv::Mat frame;while (ret) {cap >> frame;if (frame.empty()) break;// 创建FrameInfo结构体，用于缓存检测和识别等结果FrameInfo frameInfo;// 进行1:N人脸搜索faceReg->detectSearch(frame, &frameInfo, -1, det_conf_thresh, det_iou_thresh, rec_conf_thresh);// 可视化人脸识别结果dl::vision::FaceRecognizer::visualizeResult("Recognizer", frame, &frameInfo, 30);}cap.release();delete faceReg;faceReg = nullptr;}/*** * 1:N人脸搜索,测试摄像头 */void test_search_face_camera() {//摄像头ID号(请修改成自己摄像头ID号)string video_file = 0;//初始化人脸识别FaceRecognizer *faceReg = new FaceRecognizer(det_tnnmodel, det_tnnproto, rec_tnnmodel, rec_tnnproto, database, embeddingSize, alignment, num_thread, GPU);cv::VideoCapture cap;bool ret = get_video_capture(video_file, cap);cv::Mat frame;while (ret) {cap >> frame;if (frame.empty()) break;// 创建FrameInfo结构体，用于缓存检测和识别等结果FrameInfo frameInfo;// 进行1:N人脸搜索faceReg->detectSearch(frame, &frameInfo, -1, det_conf_thresh, det_iou_thresh, rec_conf_thresh);// 可视化人脸识别结果dl::vision::FaceRecognizer::visualizeResult("Recognizer", frame, &frameInfo, 30);}cap.release();delete faceReg;faceReg = nullptr;}int main() {/***测试1:N人脸搜索，需要注册人脸，生成人脸数据库(test_register.cpp)***/test_search_face_image();//1:N人脸搜索,测试图片文件test_search_face_video();//1:N人脸搜索,测试视频文件test_search_face_camera();//1:N人脸搜索,测试摄像头return 0;}

（7）配置文件config

项目配置文件src/config.h，用于设置人脸检测模型，特征提取模型，可以根据自己的需要选择

  • C++版本的人脸检测模型,目前仅支持RFB人脸检测和关键点检测
  • 人脸识别(特征提取)模型，目前支持resnet50,resnet18和mobilenet_v2模型

人脸识别特征提取模型，提供resnet50,resnet18和mobilenet_v2 ，其测试准确率，参考如下:

模型LFWCFP_FFCFP_FPAgeDBCALFWCPLFW
resnet5099.7899.6998.1497.5395.8792.45
resnet1899.5599.6197.7496.5294.6690.01
mobilenet_v299.2399.2790.7493.2293.5788.69

resnet50和resnet18参数量比较大，计算量较大，适合在PC服务器部署 ；而mobilenet_v2

模型计算量较小，适合嵌入式，开发板，Android等终端部署。

//// Created by dm on 2018/5/12.//#ifndef DETECTOR_CONFIG_H#define DETECTOR_CONFIG_H#include #include #include "Interpreter.h"static int num_thread = 1; // 开启线程数(CPU)static DeviceType device = GPU;// 使用GPU运行，支持CPU和GPU(OpenCL)//static DeviceType device = CPU;// 还有CPU运行，支持CPU和GPU(OpenCL)static float det_conf_thresh = 0.5;// 人脸检测置信度阈值，小于该阈值的检测框会被剔除static float det_iou_thresh = 0.3; // 人脸检测IOU阈值static float rec_conf_thresh = 0.5;// 人脸识别阈值，小于该阈值的人脸识别结果为unknown，表示未知static int embeddingSize = 512;// 特征维度static bool alignment = true;// 是否进行人脸校准static string portrait = "../data/database/portrait";// 人脸数据库图像路径,用于注册人脸static string database = "../data/database/feature"; // 人脸数据库特征路径database(注册人脸后生成的特征文件)static string rec_tnnmodel = "../data/tnn/recognition/mobilenet_v2.sim.tnnmodel"; // 人脸检测模型 *.tnnmodel参数文件路径static string rec_tnnproto = "../data/tnn/recognition/mobilenet_v2.sim.tnnproto"; // 人脸检测模型 *.tnnproto模型文件路径//static string rec_tnnmodel = "../data/tnn/recognition/resnet18.sim.tnnmodel"; // 人脸检测模型 *.tnnmodel参数文件路径//static string rec_tnnproto = "../data/tnn/recognition/resnet18.sim.tnnproto"; // 人脸检测模型 *.tnnproto模型文件路径//static string rec_tnnmodel = "../data/tnn/recognition/resnet50.sim.tnnmodel"; // 人脸检测模型 *.tnnmodel参数文件路径//static string rec_tnnproto = "../data/tnn/recognition/resnet50.sim.tnnproto"; // 人脸检测模型 *.tnnproto模型文件路径static string det_tnnmodel = "../data/tnn/face_ldmks/rfb_landm_face_320_320_sim.opt.tnnmodel";// 人脸特征提取模型 *.tnnmodel参数文件路径static string det_tnnproto = "../data/tnn/face_ldmks/rfb_landm_face_320_320_sim.opt.tnnproto";// 人脸特征提取模型 *.tnnproto模型文件路径#endif //DETECTOR_CONFIG_H

（8）人脸识别优化建议

  1. 人脸识别依赖人脸检测，一个高精度的人脸检测模型算法，可以有效提高人脸识别的准确率
  2. 人脸校准算法可以矫正人脸倾斜等问题，可以极大提高人脸识别效果；需要依赖人脸关键点检测(Landmark)，本项目使用的RFB模型预测人脸关键点
  3. 人脸识别中，待识别人脸图片，如果存在低头侧脸，或者人脸存在遮挡等情况，人脸识别准确率较低(可能被识别为unknown)，实际使用过程中，需要用户配合，正对着摄像头，以提高人脸识别准确率的效果。
  4. 1:N人脸搜索中，要求注册底库的人脸数据库是高质量的个人照片；建议每人需要提供一张高清的、不模糊的、少美颜的，五官清晰可见的，正脸的，不低头不侧脸的个人自拍照(生活照、证件照)，以便可以生成高质量的人脸特征
  5. 1:N人脸搜索中，当N属于百万级别以上海量人脸数据时，人脸识别会比较慢，毕竟需要遍历人脸进行特征匹配，性能较差；解决方法是可以采用人脸特征聚类，分而治之的思路；目前已有很多开源框架，感兴趣的可以参考Faiss 、milvus等库。
  6. 目前，项目暂不支持人脸真伪鉴别(活体识别)，后续计划开发基于RGB的活体识别功能，敬请期待哈

4. 人脸识别C/C++ Demo效果

下图是C/C++版本的人脸识别Demo效果，图中绘制了绿色框，框上面文本是人脸识别结果和匹配相似度(置信度)；当置信度小于rec_thresh=0.5时，人脸识别结果为unknown，表示未知。由于C++版本的opencv不支持显示中文，绘图时用姓名拼音首字母代替，如刘亦菲，简称LYF；Python版本可正常显示中文字符

C/C++版本人脸识别效果Python版本人脸识别效果

5. 人脸识别Python版本源码下载

参考文章《人脸识别2：InsightFace实现人脸识别Face Recognition(含源码下载)》https://blog.csdn.net/guyuealian/article/details/130600472

C/C++版本人脸识别效果Python版本人脸识别效果

6. 人脸识别Android版本源码下载

参考文章《人脸检测和人脸识别4：Android实现人脸检测和人脸识别》https://blog.csdn.net/guyuealian/article/details/130600600

7. 人脸识别Python版本源码下载

C/C++ InsightFace实现人脸识别Face Recognition项目含源码下载地址：

项目源码包含内容：人脸识别3：C/C++ InsightFace实现人脸识别Face Recognition(含源码)

  1. 提供轻量化的、快速的RFB人脸检测模型，该模型可实现人脸检测，并同时预测人脸的五个关键点(Landmark)。
  2. 提供三个人脸识别特征提取模型：mobilenet_v2，IR-18(resnet18优化版)以及IR-50(resnet50优化版)，用于人脸特征提取
  3. 提供1:1人脸比对：test_compare_face.cpp，可用于人证比对等场景
  4. 提供人脸注册功能：test_register.cpp，项目自带人脸识别测试数据，可用于验证人脸识别效果
  5. 提供1:N人脸搜索：test_search_face.cpp，可用于人脸签到、人脸门禁、人员信息查询、安防监控等应用场景
  6. 项目1:N人脸搜索：test_search_face.cpp，支持图片，视频和摄像头测试