行人检测(人体检测)4：C++实现人体检测(含源码，可实时人体检测)

目录

行人检测(人体检测)4：C++实现人体检测(含源码，可实时人体检测)

1. 前言

2. 行人检测(人体检测)检测模型（YOLOv5）

（1）行人检测(人体检测)模型训练

（2）将Pytorch模型转换ONNX模型

（3）将ONNX模型转换为TNN模型

3. 行人检测(人体检测)C++端上部署

（1）项目结构

（2）配置开发环境(OpenCV+OpenCL+base-utils+TNN)

（3）部署TNN模型

（4）CMake配置

（5）main源码

（6）源码编译和运行

4. 行人检测(人体检测)效果C++版本

5. 行人检测(人体检测)效果Android版本

6. 项目源码下载

1. 前言

这是项目《行人检测(人体检测)》系列之《C++实现行人检测/人体检测(含源码，可实时行人检测)》；本篇主要分享将Python训练后的YOLOv5的行人检测(人体检测)模型转写成C/C++代码。我们将开发一个简易的、可实时运行的行人检测(人体检测)C/C++ Demo。行人检测(人体检测)C/C ++版本模型推理支持CPU和GPU加速，在GPU(OpenCL)加速下，可以达到实时的检测效果，基本满足业务的性能需求。

先展示一下行人检测(人体检测)的效果：

【尊重原创，转载请注明出处】https://blog.csdn.net/guyuealian/article/details/128954638

更多项目《行人检测(人体检测)》系列文章请参考：

  1. 行人检测(人体检测)1：人体检测数据集(含下载链接):https://blog.csdn.net/guyuealian/article/details/128821763
  2. 行人检测(人体检测)2：YOLOv5实现人体检测(含人体检测数据集和训练代码)：https://blog.csdn.net/guyuealian/article/details/128954588
  3. 行人检测(人体检测)3：Android实现人体检测(含源码，可实时人体检测)：https://blog.csdn.net/guyuealian/article/details/128954615
  4. 行人检测(人体检测)4：C++实现人体检测(含源码，可实时人体检测)：https://blog.csdn.net/guyuealian/article/details/128954638

​如果需要进行人像分割，实现一键抠图效果，请参考文章：《一键抠图Portrait Matting人像抠图 (C++和Android源码)》

2. 行人检测(人体检测)检测模型（YOLOv5）

（1）行人检测(人体检测)模型训练

行人检测(人体检测)训练过程，请参考：行人检测(人体检测)2：YOLOv5实现人体检测(含人体检测数据集和训练代码)：https://blog.csdn.net/guyuealian/article/details/128954588

为了能部署在开发板或者手机平台上，本人对YOLOv5s进行了简单的模型轻量化，并开发了一个轻量级的版本yolov5s05_416和yolov5s05_320模型；轻量化模型在普通Android手机上可以达到实时的检测效果，CPU(4线程)约30ms左右，GPU约25ms左右 ，基本满足业务的性能需求。下表格给出yolov5s模型，轻量化模型yolov5s05_416和yolov5s05_320的计算量和参数量以及其检测精度

模型input-sizeparams(M)GFLOPs

mAP_0.5

mAP_0.5:0.95
yolov5s640×6407.216.50.984320.73693
yolov5s05416×4161.71.80.970040.50567
yolov5s05320×3201.71.10.964480.44821

（2）将Pytorch模型转换ONNX模型

训练好yolov5s模型后，你需要先将Pytorch模型转换为ONNX模型，并使用onnx-simplifier简化网络结构，Python版本的已经提供了ONNX转换脚本，终端输入命令如下：

# 转换yolov5s05模型python export.py --weights "data/model/yolov5s05_320/weights/best.pt" --img-size 320 320# 转换yolov5s模型python export.py --weights "data/model/yolov5s_640/weights/best.pt" --img-size 640 640

GitHub： https://github.com/daquexian/onnx-simplifier
Install: pip3 install onnx-simplifier

（3）将ONNX模型转换为TNN模型

目前在C++端上，CNN模型有多种部署方式，可以采用TNN，MNN,NCNN，以及TensorRT等部署工具，鄙人采用TNN进行Android端上部署

TNN转换工具：

  • （1）将ONNX模型转换为TNN模型，请参考TNN官方说明：TNN/onnx2tnn.md at master · Tencent/TNN · GitHub
  • （2）一键转换，懒人必备：一键转换 Caffe, ONNX, TensorFlow 到 NCNN, MNN, Tengine (可能存在版本问题，这个工具转换的TNN模型可能不兼容，建议还是自己build源码进行转换，2022年9约25日测试可用)

​

转换成功后，会生成两个文件(*.tnnproto和*.tnnmodel) ,下载下来后面会用到

3. 行人检测(人体检测)C++端上部署

项目IDE开发工具使用CLion，相关依赖库主要有OpenCV，base-utils以及TNN和OpenCL(可选)，其中OpenCV必须安装，OpenCL用于模型加速，base-utils以及TNN已经配置好，无需安装；

项目仅在Ubuntu18.04进行测试，Windows系统下请自行配置好开发环境。

（1）项目结构

（2）配置开发环境(OpenCV+OpenCL+base-utils+TNN)

项目仅在Ubuntu18.04进行测试，Windows系统下请自行配置和编译

  • 安装OpenCV：图像处理

图像处理（如读取图片，图像裁剪等）都需要使用OpenCV库进行处理

安装教程：Ubuntu18.04安装opencv和opencv_contrib_AI吃大瓜的博客-CSDN博客_opencv opencv_contrib ubuntu

OpenCV库使用opencv-4.3.0版本，opencv_contrib库暂时未使用，可不安装

  • 安装OpenCL：模型加速

安装教程：Ubuntu16.04 安装OpenCV&OpenCL_xiaozl_284的博客-CSDN博客_clinfo源码下载

OpenCL用于模型GPU加速，若不使用OpenCL进行模型推理加速，纯C++推理模型，速度会特别特别慢

  • base-utils：C++库

GitHub：https://github.com/PanJinquan/base-utils （无需安装，项目已经配置了）

base_utils是个人开发常用的C++库，集成了C/C++ OpenCV等常用的算法

  • TNN：模型推理

GitHub：https://github.com/Tencent/TNN（无需安装，项目已经配置了）

由腾讯优图实验室开源的高性能、轻量级神经网络推理框架，同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。TNN框架在原有Rapidnet、ncnn框架的基础上进一步加强了移动端设备的支持以及性能优化，同时借鉴了业界主流开源框架高性能和良好拓展性的特性，拓展了对于后台X86, NV GPU的支持。手机端 TNN已经在手机QQ、微视、P图等众多应用中落地，服务端TNN作为腾讯云AI基础加速框架已为众多业务落地提供加速支持。

（3）部署TNN模型

项目模型推理采用TNN部署框架（支持多线程CPU和GPU加速推理）；图像处理采用OpenCV库，模型加速采用OpenCL，在普通电脑设备即可达到实时处理。

如果你想在这个 C++ Demo部署你自己训练的行人检测(人体检测)模型，你可以将训练好的Pytorch模型转换ONNX ，再转换成TNN模型，然后把原始的模型替换成你自己的TNN模型即可。

（4）CMake配置

这是CMakeLists.txt，其中主要配置OpenCV+OpenCL+base-utils+TNN这四个库，Windows系统下请自行配置和编译

cmake_minimum_required(VERSION 3.5)project(Detector)add_compile_options(-fPIC) # fix Bug: can not be used when making a shared objectset(CMAKE_CXX_FLAGS "-Wall -std=c++11 -pthread")#set(CMAKE_CXX_FLAGS_RELEASE "-O2 -DNDEBUG")#set(CMAKE_CXX_FLAGS_DEBUG "-g")if (NOT CMAKE_BUILD_TYPE AND NOT CMAKE_CONFIGURATION_TYPES)# -DCMAKE_BUILD_TYPE=Debug# -DCMAKE_BUILD_TYPE=Releasemessage(STATUS "No build type selected, default to Release")set(CMAKE_BUILD_TYPE "Release" CACHE STRING "Build type (default Debug)" FORCE)endif ()# opencv setfind_package(OpenCV REQUIRED)include_directories(${OpenCV_INCLUDE_DIRS} ./src/)#MESSAGE(STATUS "OpenCV_INCLUDE_DIRS = ${OpenCV_INCLUDE_DIRS}")# base_utilsset(BASE_ROOT 3rdparty/base-utils) # 设置base-utils所在的根目录add_subdirectory(${BASE_ROOT}/base_utils/ base_build) # 添加子目录到build中include_directories(${BASE_ROOT}/base_utils/include)include_directories(${BASE_ROOT}/base_utils/src)MESSAGE(STATUS "BASE_ROOT = ${BASE_ROOT}")# TNN set# Creates and names a library, sets it as either STATIC# or SHARED, and provides the relative paths to its source code.# You can define multiple libraries, and CMake builds it for you.# Gradle automatically packages shared libraries with your APK.# build for platform# set(TNN_BUILD_SHARED OFF CACHE BOOL "" FORCE)if (CMAKE_SYSTEM_NAME MATCHES "Android")set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)set(TNN_ARM_ENABLE ON CACHE BOOL "" FORCE)set(TNN_BUILD_SHARED OFF CACHE BOOL "" FORCE)set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)# Multi-Thread#set(TNN_HUAWEI_NPU_ENABLE OFF CACHE BOOL "" FORCE)add_definitions(-DTNN_OPENCL_ENABLE) # for OpenCL GPUadd_definitions(-DTNN_ARM_ENABLE)# for Android CPUadd_definitions(-DDEBUG_ANDROID_ON)# for Android Logadd_definitions(-DPLATFORM_ANDROID)elseif (CMAKE_SYSTEM_NAME MATCHES "Linux")set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)set(TNN_CPU_ENABLE ON CACHE BOOL "" FORCE)set(TNN_X86_ENABLE OFF CACHE BOOL "" FORCE)set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL "" FORCE)set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)# Multi-Threadadd_definitions(-DTNN_OPENCL_ENABLE) # for OpenCL GPUadd_definitions(-DDEBUG_ON)# for WIN/Linux Logadd_definitions(-DDEBUG_LOG_ON)# for WIN/Linux Logadd_definitions(-DDEBUG_IMSHOW_OFF)# for OpenCV showadd_definitions(-DPLATFORM_LINUX)elseif (CMAKE_SYSTEM_NAME MATCHES "Windows")set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)set(TNN_CPU_ENABLE ON CACHE BOOL "" FORCE)set(TNN_X86_ENABLE ON CACHE BOOL "" FORCE)set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL "" FORCE)set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)# Multi-Threadadd_definitions(-DTNN_OPENCL_ENABLE) # for OpenCL GPUadd_definitions(-DDEBUG_ON)# for WIN/Linux Logadd_definitions(-DDEBUG_LOG_ON)# for WIN/Linux Logadd_definitions(-DDEBUG_IMSHOW_OFF)# for OpenCV showadd_definitions(-DPLATFORM_WINDOWS)endif ()set(TNN_ROOT 3rdparty/TNN)include_directories(${TNN_ROOT}/include)include_directories(${TNN_ROOT}/third_party/opencl/include)add_subdirectory(${TNN_ROOT}) # 添加外部项目文件夹set(TNN -Wl,--whole-archive TNN -Wl,--no-whole-archive)# set TNN libraryMESSAGE(STATUS "TNN_ROOT = ${TNN_ROOT}")# Detectorinclude_directories(src)set(SRC_LISTsrc/yolov5.cppsrc/Interpreter.cpp)add_library(dmcv SHARED ${SRC_LIST})target_link_libraries(dmcv ${OpenCV_LIBS} base_utils)MESSAGE(STATUS "DIR_SRCS = ${SRC_LIST}")#add_executable(Detector src/main.cpp)#add_executable(Detector src/main_for_detect.cpp)add_executable(Detector src/main_for_yolov5.cpp)target_link_libraries(Detector dmcv ${TNN} -lpthread)

（5）main源码

主程序src/main_for_yolov5.cpp中提供行人检测的Demo：

//// Created by Pan on 2018/6/24.//#include #include #include #include "file_utils.h"#include "yolov5.h"using namespace dl;using namespace vision;using namespace std;void test_yolov5_detector() {const int num_thread = 1;DeviceType device = GPU; // 使用GPU运行，需要配置好OpenCL//DeviceType device = CPU; // 使用CPU运行// 测试YOLOv5s_640string proto_file = "../data/tnn/yolov5/yolov5s_640.sim.tnnproto";string model_file = "../data/tnn/yolov5/yolov5s_640.sim.tnnmodel";YOLOv5Param model_param = YOLOv5s_640;//模型参数// 测试YOLOv5s05_416//string proto_file = "../data/tnn/yolov5/yolov5s05_416.sim.tnnproto";//string model_file = "../data/tnn/yolov5/yolov5s05_416.sim.tnnmodel";//YOLOv5Param model_param = YOLOv5s05_416;//模型参数// 测试YOLOv5s05_320//string proto_file = "../data/tnn/yolov5/yolov5s05_320.sim.tnnproto";//string model_file = "../data/tnn/yolov5/yolov5s05_320.sim.tnnmodel";//YOLOv5Param model_param = YOLOv5s05_320;//模型参数// 设置检测阈值const float scoreThresh = 0.3;const float iouThresh = 0.5;YOLOv5 *detector = new YOLOv5(model_file,proto_file,model_param,num_thread,device);// 测试图片string image_dir = "../data/test_image";vector image_list = get_files_list(image_dir);for (string image_path:image_list) {cv::Mat bgr_image = cv::imread(image_path);if (bgr_image.empty()) continue;FrameInfo resultInfo;printf("init frame\n");// 开始检测detector->detect(bgr_image, &resultInfo, scoreThresh, iouThresh);// 可视化代码detector->visualizeResult(bgr_image, &resultInfo);}delete detector;detector = nullptr;printf("FINISHED.\n");}int main() {test_yolov5_detector();return 0;}

（6）源码编译和运行

编译脚本，或者直接：bash build.sh

#!/usr/bin/env bashif [ ! -d "build/" ];thenmkdir "build"elseecho "exist build"ficd buildcmake ..make -j4sleep 1./demo
  • 如果你要测试CPU运行的性能，请修改src/main_for_yolov5.cpp

DeviceType device = CPU;

  • 如果你要测试GPU运行的性能，请修改src/main_for_yolov5.cpp （需配置好OpenCL）

DeviceType device = GPU; //默认使用GPU

下面截图给出开启OpenCL加速的性能对比截图，纯C++推理模式需要耗时几秒的时间，而开启OpenCL加速后，GPU模式耗时仅需十几毫秒，性能极大的提高。

CPU
GPU

4. 行人检测(人体检测)效果C++版本

下图给出C++版本行人检测(人体检测)效果：

下图GIF这是Python版本的行人检测(人体检测)效果，C++版本与Python版本的结果几乎是一致

5. 行人检测(人体检测)效果Android版本

已经完成Android版本人体检测算法开发，APP在普通Android手机上可以达到实时的检测和识别效果，CPU(4线程)约30ms左右，GPU约25ms左右 ，基本满足业务的性能需求。详细说明请查看：行人检测(人体检测)3：Android实现人体检测(含源码，可实时人体检测)：https://blog.csdn.net/guyuealian/article/details/128954615

人体检测Android Demo体验：https://download.csdn.net/download/guyuealian/87441942

6. 项目源码下载

【行人检测(人体检测)C/C++源码下载】行人检测(人体检测)4：C++实现人体检测(含源码，可实时人体检测)

整套项目源码内容包含：

  1. 项目提供YOLOv5行人检测(人体检测)模型：包含yolov5s模型，轻量化模型yolov5s05_416和yolov5s05_320三个行人检测(人体检测)模型；在普通手机可实时检测识别，CPU(4线程)约30ms左右，GPU约25ms左右；包含高精度版本yolov5s行人检测(人体检测)模型，CPU(4线程)约250ms左右，GPU约100ms左右
  2. 项目C++源码支持CPU和GPU运行，GPU模型加速需要配置好OpenCL，否则速度很慢
  3. 项目源码不含Python训练代码和Android源码；

如果你想体验一下行人检测(人体检测)效果，可下载Android版本进行测试，Android和C++版本的行人检测(人体检测)核心算法是一样的

  1. 行人检测(人体检测)Python训练，请参考：行人检测(人体检测)2：YOLOv5实现人体检测(含人体检测数据集和训练代码)：https://blog.csdn.net/guyuealian/article/details/128954588

  2. 行人检测(人体检测)Android部署，请参考： 行人检测(人体检测)3：Android实现人体检测(含源码，可实时人体检测)：https://blog.csdn.net/guyuealian/article/details/128954615