动态多目标视频跟踪系统的设计与应用

动态多目标视频跟踪系统的设计与应用

谭佳怡 ,余岳* ,吴岳忠

（湖南工业大学 轨道交通学院  湖南株洲 412007）

摘要：针对复杂背景条件下动态多目标实时监测算法效果不佳的问题，本文设计一种能进行对运动目标实施感知的视频跟踪系统。该系统基于原YOLOv4目标检测算法上对其改进。首先，对骨干特征提取网络进行理论创新，旨在提升网络的表达能力并提升特征提取能力；然后，提出YOLOv4-PPMCC感知跟踪模型使检测与跟踪功能合二为一，从而实现连续、实时准确的跟踪；最后，本系统能够将大型场景中的多个目标跟踪、检测与分析等功能整合在一起，智能地分析前端摄像机所获取的影像资料，并对其进行自动收集、归类，并在后台实时查看分析结果和视频记录。该算法实时性更佳，与传统的多目标跟踪算法相比较，计算量大大降低，跟踪结果更准确，可以实现对多目标持续和准确的跟踪。

关键词：YOLOv4检测算法；皮尔逊相关分析；多目标跟踪；YOLOv4-PPMCC感知跟踪模型

Design and application of dynamic multi-target video tracking system

TANG Jiayi，YU Yue*，WU Yuezhong

（College of Railway Transportation, Hunan University of Technology, Zhuzhou 412007, China）

Abstract:For the problem of poor dynamic multi-objective real-time monitoring algorithm under complex background conditions, this paper designed a video tracking system for motion target perception. The proposed system is improved based on the original YOLOv4 target detection algorithm. Firstly, the backbone feature extraction network aims to improve the network expression ability and improve the feature extraction ability; secondly, the YOLOv4-PPMCCperception and tracking model combines the detection and tracking functions, so as to realize continuous, real-time and accurate tracking. The system can integrate multiple target tracking, detection and analysis functions in large scenes together, intelligently analyze the image data obtained by the front-end camera, automatically collect and classify them, and view the analysis results and video records in real time in the background. The algorithm is better in real-time, and isbetter compared with the traditional multi-target tracking algorithm, with greatly reduced computational amount and more accurate tracking results, which can achieve continuous and accurate tracking of multiple goals.

Keywords: Yolov4 PPMCC perceptual tracking model；Pearson correlation analysis； multiple object tracking；Yolov4 detection algorithm

1研究背景

视频追踪技术已经成为当前智能监控系统中的一个重要技术，并受到越来越多的人的关注。图像追踪技术是计算机视觉研究的重要内容，它将图像处理、模式识别、计算机控制、人工智能等前沿技术与核心理念相结合[1]

。它能在起始帧内对目标进行自动或人工标记，获得相应的信息，并在随后的帧内实现对运动对象的实时、准确跟踪。但是由于真实场景的复杂性，如遮挡、形变、光照变化等，使得视频追踪技术难以实现。近年来，已有很多学者针对复杂的场景进行了研究，并提出了一些行之有效的算法。

但是设备中大多采用传统的图像处理方法实现车辆的检测与跟踪，算法在复杂场景下的监控效果不够理想[2]。多目标感知跟踪的主要任务是对视频中的多个目标物体进行识别和跟踪。随着深度学习算法的迅速发展，其在复杂场景下表现出的优越性，已经逐渐取代传统算法，迅速成为一大研究热点，同时涌现出一批有价值的多目标视频跟踪算法[3]。文献提出一种基于图模型的联合优化方法。该方法使用全局图模型来匹配局部轨迹片段，在图模型中每个节点代表一个轨迹片段，每条边代表轨迹片段的连接，通过寻找从源节点到目标节点的最小代价流，得到每个跟踪对象的完整运动轨迹[4]。文献中使用卷积神经网络为每个追踪对象提取鲁棒的深度特征，并引入一个特征重排序机制匹配各个追踪对象的轨迹片段[5]。提出一种增量相机链接模型，利用追踪对象的线索信息来自适应匹配轨迹片段，并且在线更新追踪对象的线索信息，以消除视角变化的影响[6]。使用贝叶斯公式在非重叠摄像机网络中进行路径重建，以便在不同摄像机视图之间创建轨迹片段，同时提出一种时空解析结构，即利用追踪目标的语义属性对匹配候选对象进行剪枝[7]。

2  改进的YOLOv4算法

2.1  目标检测算法（You Only Look Once，YOLO）

YOLO算法是一种能够一次预测多个Box位置和分类的卷积神经网络，由2016年Redmon等人提出其网络设计策略在继承了GoogleNet的基本理念的基础上，真正做到了对端对端的探测，并且发挥了速度灵敏优势的同时，也降低了精确性。然而在2016年Redmon等人提出的YOLO9000算法是在原先YOLO算法的速度上提高了其准确度。主要对其由两方面的改进:一方面是在原有的YOLO检测框架的基础上进行了一系列的优化改进，弥补了检测精确性的不足[11]；另一方面是提出了将目标检测和目标训练两者合并为一个的方法。YOLO模式的多尺度检测方法与其它方法相比，具有较高的检测效率，在很多检测任务中都取得了很好的效果。通常将输入网络分为S×S网格，如果目标的中心在网格上，则该网格负责目标的检测。

2.2 YOLOv4-PPMCC感知跟踪模型

基本检测网络YOLOv4是一种基于回归的检测算法，最大的优势是检测快，目前在诸多领域中都获得了不凡的成绩。基本实现过程：首先将图像分割成S×S的网格，每一块区域产生B个候选块，各候选块经过网络产生对应的边框，最后形成S×S×B边框，并由该边框中的目标对象进行识别。基于YOLOv4模型做了以下改进，如图2.1中的路径聚合网络（Path  Aggregation Network，PANet）模块框所示。

图2.1 改进的YOLOv4算法模型图3.1总体架构图

3 系统设计试验与分析

为了快速、准确及稳定地对运动中的多目标进行识别感知跟踪，设计了一种能对处于运动状态的多目标进行实时感知跟踪的系统。结合社会的发展与需求，采用了深度学习目标检测算法下的YOLOv4算法，该算法比传统的目标检测算法更具备应用前景。基于YOLOv4算法，为了提高特征提取能力，我们对其中的骨干特征提取网络进行了创新对骨干特征提取网络进行理论创新[15]，并改进了该算法中的特征金字塔及SPP模块。然后提出YOLOv4-PPMCC感知跟踪模型。在摄像头拍摄的原始帧中选定要跟踪的目标模板，利用改进后的YOLOv4检测算法对实时视频中的多运动目标进行实时感知，关注目标的位置信息找出视频帧中的目标，然后用皮尔逊相关分析计算出模板和目标之间的相似度，其中与模板相似度最高的即为跟踪对象，最后通过电脑向用串口连接的继电器发送指令，控制云台转动摄像头对跟踪目标进行实时跟踪。

3.1  系统整体架构设计

本项目是基于YOLOv4目标检测模型实现对目标的检测并跟踪，通过对YOLOv4框架进行改进，从而达到对检测环境中小目标的准确检验，之后进行数据集的采集和在高性能计算机上进行训练；然后下载到本地笔记本进行推理；最后结合硬件设备和软件总体框架进行实验验证。系统总体架构图如图3.1所示。

3.2  软硬件设计

YOLOv4-PPMCC感知跟踪模型算法实现流程图如图3.2所示。

图3.2 软件总体架构                               图3.3 实验装置实物

图3.4 硬件设备总框图

5  结论

本文针对视频跟踪系统进行网络框架和硬件设备设计，详细阐述了整个系统所需要的硬件设备部分及算法框架的基本执行流程。主要完成了视频跟踪系统的程序设计与编写，包含了主程序中对外接摄像头的调动，对拍摄画面读取与图像处理，目标检测及相似度计算的软件设计和与硬件中继电器与云台的联机。对整个系统的两个主要功能进行了测试和分析，包含了对多目标的识别、指定目标的跟踪两大功能。

参考文献：

[1] 赵春晖,李瑞,宿南.基于改进YOLOv3的工业安监目标检测算法[J].沈阳大学学报(自然科学版),2021,33(02):125-130+191.DOI:10.16103/j.cnki.21-1583/n.2021.02.005.

        Zhao Chunhui, Li Rui, Su Nan. Industrial safety supervision target detection algorithm based on improved YOLOv3 [J]. Journal of Shenyang University (Natural Science Edition), 2021,33(02):125-130+191.DOI:10.16103/j.cnki.21-1583/n. 2021.02. 005.

[2]Xu X, Yuan Z, Wang Y. Multi-Target Tracking and Detection Based on Hybrid Filter Algorithm[J]. IEEE Access, 2020,8:209528-209536.

[3]Mahmoudi N, Ahadi S M, Rahmati M. Multi-target tracking using CNN-based features: CNNMTT[J]. Multimedia Tools and Applications, 2019,78(6):7077-7096.

基金项目：湖南省自然科学基金项目2021JJ50050，国家重点研发计划项目 2019YFE0122600.