Clever Geek Handbook

运输中的对象视频分析

在许多任务中，必须在“边缘”（即在数据源（相机）的附近）执行处理和内容处理。特别是，这也适用于对象视频分析的任务，例如在优化运输基础设施的项目框架内。



让我们考虑俄罗斯集成商Larga Group和对象视频分析系统开发商ComBox Technology的几种联合解决方案。



图片



任务：



  1. 在公共汽车上安装乘客计数器，以控制所售票的数量，并获取有关路线范围内交通拥堵的统计信息。
  2. 驾驶员控制（发现吸烟和使用手机）。


条款：



  1. 由于通信通道的不稳定性和高成本，神经网络的推理和“边缘”分析的执行可最大程度地减少流量。
  2. 联合和单独使用不同探测器的可能性（可扩展性）。
  3. 数据传输，用于通过移动通信通道进行进一步处理。


作为解决方案，我们选择了AAEON VPC-3350S，因为该设备具有以下对我们很重要的特性：



  • 内置LTE模块。
  • VPU可通过Intel MyriadX加速器进行扩展。
  • 集成的Intel HD Graphics 500，可以使用硬件解码器和编码器来处理视频流。
  • 多个LAN端口，用于直接连接网络摄像机，而无需安装交换机。
  • 宽的工作温度范围（-20 + 70）。


研扬VPC-3350S

AAEON VPC-3350S



让我们考虑第一种单独使用探测器的情况。在汽车共享领域，已经设想了在租用汽车的沙龙中对吸烟处以罚款的形式。根据公司的不同，罚款金额从5到1.5万卢布不等。与目标视频分析和烟雾检测传感器相比，这些传感器不会拾取蒸汽和其他用于吸烟混合物的设备，并且在车窗打开时几乎不敏感。但这并不能抵消违反事实，因此，可以根据合同以罚款的形式进行法律处罚。



此外，可以在运输中级联（依次）应用多个神经网络，例如吸烟检测和使用手机的事实/时间检测。显然，应该进一步扩展此类系统，例如，集成远程信息处理功能以及与汽车的CAN总线的连接，以仅在车辆行驶时跟踪电话的使用情况，但这已经是集成细节。



我们具体检测到的结果以及得到的结果的说明性示例：



检测车辆驾驶员手中的手机



汽车中的吸烟检测



Telegram中的机器人演示（输入-来自智能手机相机或画廊的图片，输出-概率）：





具体来说，我们的AAEON VPC-3350S版本配备了Intel Atom x5 E3940处理器。必要时，由于使用了Intel OpenVINO框架，因此您还可以在Intel MyriadX上额外安装扩展卡，并将神经网络的推理无需任何重大修改即可传输到VPU。



让我们看一下包括CPU，iGPU（Intel HD）AAEON VPC-3350，VPU Intel Movidius和其他制造商的解决方案在内的各种设备上的推理速度（FP16）：



在各种设备上的推理速度（FP16），包括CPU，iGPU（Intel HD）AAEON VPC-3350，VPU Intel Movidius和第三方解决方案

包括CPU，iGPU（Intel HD）的AAEON VPC等各种设备上的推理速度（FP16）。 -3350，VPU，英特尔Movidius和第三方解决方案



因此，在Intel Atom x5 E3940处理器的iGPU图形上，我们获得了54 FPS，并补充了Intel Movidius VPU设备-另外45 FPS。要检测冒烟，每帧相机15 FPS就足够了，这可以在一个处理器图形上最多处理3个线程。还应记住，除了分配和使用资源进行推理外，还必须对传入的RTSP流进行解码。让我们



研扬VPC 3350解码器测试

看一下解码器测试：AAEON VPC 3350解码器测试



在最大的CPU和图形负载下，我们以15 FPS解码30 720p流，也就是说，对于720p，我们可以获得450帧。对于1080p，大约为150帧。



考虑一下用于汽车共享的套件的组成以及数据处理的主要步骤：



  1. 该车配备了由以太网和PoE驱动的IP摄像机（一个用于驾驶员，两个用于驾驶员，乘客）。
  2. , AAEON NVR 3350.
  3. .
  4. .
  5. ( ). . , , 50%, ( ).
  6. /.
  7. (10 ), . :

    • ,
    • .
    • 车辆识别码（静态GUID）
    • 摄像机编号（0、1）
    • 事件类型
  8. 将3G / LTE可用时的事件数据传输到中央数据处理服务器，并与现有的汽车共享信息系统集成以进行计费操作。


让我们回到使用AAEON VPC-3350S的第二种情况-公共汽车上乘客的检测和计数：







完成的工作阶段：



  1. 准备工作（测试相机，选择焦距，设置问题的边界条件）：

    • 从多个具有不同焦距的摄像机标记600帧
    • 在nVidia GPU上进行神经网络训练，每步10k
    • 针对验证数据集测试模型
    • 将模型转换为Intel OpenVINO
    • 使用验证数据集在Intel OpenVINO中测试生成的模型，在转换之前将质量和速度与模型进行比较
    • , (, CPU, VPU)
  2. ( + )
  3. , 20 .
  4. nVidia GPU
  5. OpenVINO
  7. :

    • gstreamer/ffserver
    • (, , , )
    • mongoDB/PostgreSQL
    • REST API
  8. « »




直接的学习过程：







Larga Group的客户个人帐户界面，显示乘客流量报告：Larga Group的客户个人帐户



图片

界面，显示乘客流量报告



客户个人帐户，用于显示乘客流量报告



在公交车入口区域检测人员并标记区域



的过程计数器的算法：



  1. 将RTSP流切割成帧
  2. 每帧的头部检测
  3. 轨迹分析（移动时将头部保持在框架中）
  4. 基于三个预标记区域相交的顺序分析运动方向
  5. 考虑到移动的方向（进入/退出），将事件记录在本地数据库中
  6. 通过REST API提供对第三方信息系统和报告系统的访问


由于最初假设了一种用于神经网络推理的混合解决方案（数据中心的边缘和部分数据的处理），因此我们将考虑两种方法的利弊：







因此，通过集中处理，我们获得了数据中心中流的最低成本，但是对高质量和快速通道的可用性提出了很高的要求通讯。对于边缘解决方案-成本较高，但对通信通道的要求最低，并且对其保留没有要求。


More articles:


All Articles