基于YOLOv4和OpenPose的物品拿取监测在仓库管理中的应用

 基于YOLOv4和OpenPose的物品拿取监测在仓库管理中的应用

翟佩璇 ,张梦婷

四创电子股份有限公司 安徽合肥230088

摘要：仓库管理活动中，常常伴随着设备货物行为、人员行、人员与货物交互行为等活动，行为复杂，分布场景广泛，结合视频监控技术，采用OLOv4物体检测算法、融合OpenPose检测人骨骼点，实现仓库环境中物品拿取行为的监测。模拟试验表明这种算法识别的方法能有效解决仓储场景中物品拿取的识别监测。

关键词：

行为识别、仓储库管理、YOLOv4、OpenPose、物品拿取

0.引言

仓库管理是指货物管理与处理的过程，在仓库管理活动中，常常伴随着设备货物行为、人员行、人员与货物交互行为等活动，行为复杂，分布场景广泛。在传统的仓库管理过程中，主要侧重于货物行为与信息的安全，对于人员行为的管理主要侧重于事前的身份认证以及事后的录像查证，对于仓储活动中人员的监控与管理手段多是人为监控。在信息化和智能化的大背景下，结合视频监控，基于注意力模型的异常行为分析为[1]，一方面可以通过异常行为识别，有效监控与管理仓储过程中人员活动，保障仓储活动安全；另一方面通过对异常行为的检测，实仓库环境安全的监控，保障人员安全。本文以非授权物品拿取行为为例，阐述采用YOLOv4[3]和OpenPose算法[4]实现仓库管理过程中物品拿取行为的检测与识别，分别从正常光照以及低照度两种场景情况进行算法验证。

1.研究方法

仓库管理过程中基于视频的行为分析识别应用存在以下问题：1）视频中物体、人员数量多、遮挡严重；2）仓库光照变化大，对视频识别准确率存在影响。针对仓库实际应用环境的复杂性，本文采用YOLOv4物体检测算法和OpenPose检测人骨骼点算法相结合的方式进行物品拿取行为检测，对于关注区域内特定时刻不应该存在物品拿取行为的情况，若检测到有物品拿取行为则判定为异常行为。

1.1非授权物品拿取行为识别逻辑

利用YOLOv4物体检测算法和OpenPose检测人骨骼点算法，检测当前帧的在警戒区域内的箱子和人骨骼点；①对箱子进行追踪并计时，当箱子计时超过10秒时认为箱子属于此区域；②当某个属于此区域的箱子被人拿走，对被拿走的箱子追踪失败，以此反推哪个箱子被人拿走；③计算被拿走箱子与人手、人脚的欧式距离，被拿走箱子与人的IOU交并比；④以上3个值根据逻辑回归判断箱子是否被搬运。

1.2非授权物品拿取行为训练

通过打标签软件给图像标注，标注结果包含了每张图像的路径，类型，标注矩形框的左上角坐标x1,y1，右下角坐标x2,y2；

标注数据输入到神经网络里进行训练，物体检测类的神经网络模型为yolov4，训练后输出的yolov4模型是神经网络模型每一层的权重参数。其训练过程一般为：

①初始化网络权重参数，初始化参数很重要，会决定到网络训练时，是否收敛，以及找到最优参数，然而自己是很难找到较好的初始化参数，所以一般是用别人训练过的网络模型参数作为自己的初始化网络权重参数；

②设置模型的训练参数，例如列举一些常见参数learning rate学习率，学习率一般设置为0.003的整十倍，batch size一次训练所选取的样本数，我们训练所采用的batch size为64，即64个图像样本对网络权重参数进行一次更新，学习率和batch size都会影响到网络训练时收敛的快慢，以及是否能达到最优解；momentum动量的超变量系数，一般设置会0.9左右，当网络初始化参数不太好时，为了避免网络收敛陷入局部最优解，采用了momentum动量算法来避免这一问题，使得网络能跳脱局部最优解，从而达到全局最优解；设置epoch训练轮回，所有数据训练完一遍是一个epoch，epoch一般会根据网络训练数据多少，以及网络模型大小来设置，如果设置太大，网络模型可能在中途就训练达到了最优解，那么之后的训练会浪费时间，如果太小了，网络模型可能还没有达到最优解就停止了；设置检测种类数量，即检测对象有多少个类；

③对数据进行训练，观察训练时输出的精确率，以及cost成本函数值大小，cost值越小，代表预测效果越进阶真实值，精确率就越高，如果cost值经过十几个epoch训练没有下降，那么代表模型训练没有下降收敛，没有超网络最优解方向前进，此时需要回到第②步调整参数，或者第1步检查标注数据是否有问题，当精度达到比较高的时候，具体可以参考该算法作者理论上的精度，例如yolov4的为43左右，即为训练得到最优权重参数

2.实验验证

为了验证所提物品拿取行为检测算法的可行性，在仓储中，分别在低照度、正常照度的情况对物品拿取行为进行触发告警行为、非触发告警行为进行试验，测试各种场景下行为识别准确率，

2.1正常照度情况测试

设置试验环境照度为40勒克斯～120勒克斯，此时摄像机补光灯处于全部熄灭状态，针对物品拿取行为进行正常情况模拟试验、异常情况模拟试验，试验测试情况如下：

1)触发报警情况测试

在前端软件上开启物品拿取算法，在监控识别区模拟异常行为场景（人员在警戒区域拿取地面上的箱子），查看行为分析算法报警结果。

2)非触发报警情况测试

在前端软件上开启物品拿取算法，在监控识别区模拟无异常行为场景（人员在警戒区域内走动），查看行为分析算法报警结果。

图 1物品拿取算法触发报警情况图

2.2低照度情况测试

设置试验环境照度为0.005勒克斯±0.003勒克斯，此时摄像机补光灯处于全部亮起状态，针对物品拿取行为进行正常情况模拟试验、异常情况模拟试验，试验测试情况如下：

1)触发报警情况测试

在前端软件上开启物品拿取算法，在监控识别区模拟异常行为场景（人员在警戒区域拿取地面上的箱子），查看行为分析算法报警结果。

2)非触发报警情况测试

在前端软件上开启物品拿取算法，在监控识别区模拟无异常行为场景（人员在警戒区域内走动），查看行为分析算法报警结果。

图 2物品拿取算法触发报警情况图

2.3试验结果

在正常照度情况以及低照度情况下分别对物品拿取行为进行测试，共计开展264次试验，判断准确次数为239次，具体试验结果如下表所示：

表 1物品拿取行为检测试验结果

3.结语

本文提出了基于视频的物品拿取行为检测在仓库管理中的应用，采用利用YOLOv4物体检测算法、OpenPose检测人骨络点算法实现人员、物体、动作的检识别测，考虑到仓库中光照情况对行为识别准确率的影响，通过组织不同光照条件下物品拿取检测试验，验证了基于视频的物品拿取行为分析算法在仓储环境应用具有可行性。同时本文研究也存在不足之处，比如没有考虑到高并发以及时延的问题，如何进一步提高算法的高效性与稳定性未来将进一步研究。

参考文献

[1]张晓平,纪佳慧,王力,何忠贺,刘世达.基于视频的人体异常行为识别与检测方法综述[J].控制与决策,2022,37(01):14-27.DOI:10.13195/j.kzyjc.2020.1428.

[2]李永,梁起明,杨凯凯,郭少哲,张友善.基于深度学习的人体行为识别检测综述[J].科学技术与工程,2021,21(20):8310-8320.

[3]康帅,章坚武,朱尊杰,童国锋.改进YOLOv4算法的复杂视觉场景行人检测方法[J].电信科学,2021,37(08):46-56.

[4]陈汝峰,谢鹏飞,彭成,谭玉林.基于OpenPose的人体姿态检测系统设计与实现[J].电子世界,2020(17):183-184.DOI:10.19353/j.cnki.dzsj.2020.17.082.

[5]冯曙明,张佳禹,杨永成,肖爱华,王大淼.基于改进的Boosting算法的仓库监控区域目标跟踪研究[J].微型电脑应用,2020,36(05):76-79.