基于无人平台的视频智能处理模块设计

基于无人平台的视频智能处理模块设计

王宇，李翔，何明昊

中国航空工业集团公司西安航空计算技术研究所，陕西西安710068

摘要：文章提出了一种用于嵌入式无人平台的视频智能处理模块实现方案，硬件采用带AI组件的PSOC和飞腾D2000处理器组合，实现视频目标识别、格式转换、视频分解、重构、特征提取、视频数据缓存、分发，并通过万兆以太网和RapidIO接口形成异构双余度接口，用于输出重构后的视频数据，经测试并与系统联调验证，该模块可靠稳定，满足设计需求。

关键字： 视频处理；飞腾D2000；RapidIO接口 

1. 引言

随着日益发展的综合化技术不断提升，为了适应现代信息化综合无人平台使用要求，当前对无人平台周身摄像视频的清晰度、监控范围需求大幅提升，对视频数据智能化处理包括视频跟踪、目标识别、关键图像提取等功能具有迫切需求，能够辅助驾驶员做出更为精准的决策【1】。

同时由于提升分辨率、高帧率，导致视频信号的数据量显著增大，系统传输接口需要具备更大的带宽，接口的数据传输速率需要显著提升。传统的单核处理器已无法全面满足当前功能需求，并且常用方案中电信号使用屏蔽双绞线进行传输，传输距离不足，EMC抗干扰能力不足，视频传输能力也无法满足复杂环境的要求。光纤通信因其高传输速率、高抗干扰能力、可远距离传输，成为更合适的视频传输接口。

视频智能处理模块作为无人平台视频数据信息传输、处理中心，采用分布式开放架构、高通用度模块化设计，通过PCIe高速网络互连，并通过万兆以太网和RapidIO接口形成异构双余度接口，用于输出重构后的视频数据，为任务系统提供更为精准的智能识别后视频数据。

2. 系统设计方案及原理

视频智能处理模块由数据处理单元、智能处理单元、数据转换单元、数据发送单元组成，视频智能处理模块硬件设计框图如下图1所示。

其中数据转换单元通过光电收发器将相机采集的光信号转换成电信号后发送给智能处理单元带AI组件的PSOC芯片，先由PSOC的PS端进行视频格式转换，将信号按照ARINC818数字视频协议进行解析、转换到BT1120格式，判断视频格式是否完成转换，若在规定时间内未完成视频格式转换，则启用PL（Programmable Logic）端内部解码器加速进行格式转换，完成格式转换后发送至其PL，由其PL端上集成的专用智能算子对视频数据进行实时多目标检测识别，将检测识别到的视频图像信息发送给数据处理单元的飞腾D2000处理器【2】，飞腾D2000处理器用于视频分解、重构、特征提取、视频数据缓存、分发等功能，并在DDR4存储器中设置专用视频缓冲器，用于缓存待处理和已经处理完毕的视频数据；最终数据发送单元通过万兆以太网和RapidIO接口形成异构双余度接口传输经过分解重构的视频数据及所提取特征信息数据。

                           图1视频智能处理模块硬件设计框图

2.1  数据转换单元设计

数据转换单元包括1路光电收发器，能够将相机采集的ARINC818光视频信号格式转换成电信号。

光电收发器与带AI组件的PSOC芯片之间通过X4 PCIe通信，采用PCIe GEN3.0速率能够满足视频数据大数据量要求，能够有效避免转换后的视频丢帧。

2.2  智能处理单元设计

智能处理单元采用100TAI芯片，基于28nm工艺，在单芯片集成了基于四核高性能处理器的处理系统、可编程逻辑以及自主设计的AI模块。PSOC芯片的PL端（FPGA控制逻辑）直接将采集的IO数据放入PL内部的缓冲器中供PS端（CPU）读取，PS端对PL端中IO需要采集的各种数据和输出的量值进行缓冲器读写操作，PS端不直接控制IO的工作，这样可以最大限度地提高PS端的接口处理效率，接口处理不占用PS端的运行时间。其支持图像处理单元（GPU）、视频处理单元（VPU），并且在内部AI模块集成了大量的专用硬算子，支持目标检测模型、目标追踪模型、超分辨模型、显著性检测模型，能够高效实现视频实时多目标识别功能。并设计选用1片eMMC芯片，存储容量为64GB，实现智能处理后视频图像数据的存储及备份。

介质转换后的视频电信号在PSOC中使用双FIFO通过乒乓操作进行高效视频格式转换，将信号按照ARINC818数字视频协议进行解析、转换到BT1120格式，每秒钟的帧频为30Hz。将转换后的视频数据发送给PL端，根据AI模块固有智能算子对视频数据进行目标识别，将识别的特征信息进行提取并将有效数据保存在eMMC中，将视频图像数据及识别后所提取的特征信息图像数据均发送给D2000处理器。

2.3  数据处理单元设计

2.3.1 数据处理电路设计

数据处理单元包含1个飞腾D2000八核处理器芯片，主频设置2.0GHz，配置8GB的DDR4存储器用于缓存待处理和已经处理完毕的视频数据；实现1GB的FLASH存储容量用于存储

BIT测试程序、BOOT引导程序、操作系统以及应用程序；配置256KB的NVSRAM用于记录故障信息，并设计1TB SSD电子盘用于存储所提取的特征信息。飞腾D2000处理器与PSOC之间通过X4 PCIe GEN3.0通信。

当D2000处理器接收到视频图像数据后，在应用软件中，通过多核分区操作系统将任务与核进行绑定，其中核0进行视频数据的初步分解，将其数据按图像信息进行缓存；处理器核1进行图像分解，按像素进行分解；核2进行所提取特征信息优化，利用神经网络工具包优化提取结果，提升处理精度；核3进行视频数据的缓存，缓存存放在DDR4中；核4进行视频重构，按照像素进行重新排布；核5进行特征缓存分发，核6进行视频缓存分发，按照固定的数据格式将特征缓存和重构视频缓存通过以太网和RapidIO接口分发到任务决策系统。

D2000处理器使用流水线方式并行操作，每个核处理器当前进程结束后通过中断方式让下一步操作的核处理器将数据进行处理发送 。

设计选用407系列MCU用作健康监测，当系统内有部分功能器件失效时，MCU通过CAN总线上报故障信息，并通过IIC总线与处理器交互，处理器控制故障部件重启中，保障视频处理功能正常运转，并将当前故障记录在NVRAM中。当整模块电路故障时仍能保持50ms供电，将故障信息通过QSPI保存在NVRAM中，并通过CAN总线上报故障信息，大幅缩短后期故障定位时间。

2.3.2电源转换电路设计

    视频智能处理模块电源转换电路设计选用可编程的智能电源转换模块，编程转换精度可达2mV，PSOC处理器通过PMBUS总线可控制电源转换模块，支持实时监控电源转换模块的输出电压和输出电流，当智能电源转换模块输出电压VCC_out超过+5.4V或小于+4.6V时，PSOC处理器通过PMBus总线控制关断智能电源转换模块的输出，进而保护视频智能处理模块的二次电源转换模块以及后端电路的不会因过压或欠压而损坏；当输出电流超过16A时，PSOC处理器通过PMBus总线控制关断主电源转换模块的输出，进而保护后端电路因过流而烧毁；当双余度12V输入均为欠压状态时（＜6.25V时），电源转换模块进入欠压保护工作模式。 

2.4 数据发送单元设计

    数据发送单元电路包括1片PCIe转RapidIO桥芯片和1片PCIe转万兆以太网网卡芯片，将重构后的视频数据和优化后的特征提取信息按照规定的数据帧格式通过以太网和RapidIO接口分发到任务决策系统【3】。

3. 工作模式设计

视频智能处理模块可根据外部输入离散量状态和电源转换模块工作状态进入不同的工作模式，从而应对不同需求的工作场景要求，共有10种工作模式（SS0~SS9），离散量通过沿中断方式进行读取，上升沿有效，PSOC处理器通过PMBUS总线实时获取电源电路工作状态【4】。

具体S0~S9故障模式定义如下：电源故障检测模式（SS0）；时钟故障检测模式（SS1）；FLASH故障检测模式（SS2）；NVRAM故障检测模式（SS3）；空中工作模式（SS4）；在线升级模式（SS5）；地面调试模式（SS6）；应急工作模式（SS7）；降级工作模式（SS8）；地面维护模式（SS9）。

在出现故障时能够针对不同现象进入对应故障检测模式，初步定位故障，大幅缩短故障定位时间。针对不同使用场景，可对应进入空中、地面、应急、降级、升级、维护等模式，满足用户多场景所应用功能。

4. 结论

本文设计了基于嵌入式无人平台的视频智能处理模块实现方案，介绍了其硬件设计方案和具体实现方式，并设计应用过程中的多种使用工作模块。经项目验证，视频智能处理模块能够提供高精度的智能识别视频数据，并提供特征提取数据，能够在无人平台航空系统中实现辅助决策功能。

参考文献

1.彭崇,丁建伟,张琪.智能视频处理系统综合实验设计［J］．长江信息通信,2022,35(02):4-6.

2. 郑恩, 白林亭, 文鹏程. 基于飞腾D2000的GEMM算法设计与优化实现技术［J］．航空计算技术，2024，54(03): 38-41+47．

3. 孙亮. 一种基于RapidIO总线的FT2000/4多通道数据处理模块设计［J］．中国科技信息，2024(09): 112-114．

4. 封安,景德胜,王宇,等.基于国产FPGA和CPU的综合处理接口单元设计与实现［J］．航空计算技术. 2023,53(3);75-78,83.