正如我们已经写过很多次一样，无论是在占用空间还是在不同工厂和单位数量上，我们的设施都是相当大的作品。为了使所有这些工作正常进行，并且不存在任何可能导致生产过程停止的情况，必须对每个节点进行监视。因此，我们既有专门人员从事此工作，又有移动解决方案的应用程序，可大大简化他们的生活。
另外，这里值得讨论视频分析。它可以解决各种问题-通过自动控制和废品来提高产品质量，帮助消除生产线的突然停顿，及时警告操作员进行干预的必要性，监视对工业安全规则的遵守情况，这是工业设施的首要任务。从原理上讲，可以通过观看来自对象的视频（以及是否有必要观看）来分析哪些内容，视频分析如何帮助节省时间和金钱，一切对我们有用-有关削减的内容。
我们从哪里获得数据
在每个设施中，我们都会讨论技术范围内的数百台摄像机。还有一个外围，其中包括安全摄像头，但是现在我们不再谈论它了。但是，所谓的量产相机会不断地注视着特定的地点，单位，设备-这正是我们要关注的重点。
我们的工厂年龄不同，有一段时间，并非所有人都属于西布尔公司。在过去的15年中，他们一直在积极进行现代化改造，现在有一种情况，即不同的工厂可能会使用不同的相机和系统来配合使用。因此，处于这种目标的每个操作员都习惯于特定的软件以及该软件的视频流的常规输出。
采取和组合所有大小的所有内容适合所有对象，对操作人员进行再培训，收集所有内容并将其显示在我们的界面上-这给所有相关方带来了额外的压力，并且在时间和金钱上也带来了非虚幻的成本。以及用新相机替换相机的选项。
因此，我们的想法是：与这些监视系统中的任何一个集成，以便我们完全使用操作员熟悉的界面，并在发生某些事件时显示必要的图片。同时，我们无需在其之上创建任何界面，用户不必重新学习。顺便说一句，关于用户的更多信息。
我们系统的用户
所有这些都是为了方便操作员而设计的，该操作员在其控制系统中进行生产过程。默认情况下，当您前面的屏幕上有许多带有来自不同摄像机的视频的矩形窗口时，摄像机的信息输出是标准图片。就像一天中在遥控器上放大一样。
操作员的主要工具是生产管理系统。如果发生紧急情况，操作员会注意到并采取适当措施。操作员的经验和对过程的了解，仪器的信息以及摄像机的图像这两个因素的结合，不仅可以对已经发生的事件做出决定，而且可以预测不太愉快的事情并避免发生。毕竟，与花费几个小时（几天，几百万）消除后果相比，通过按下几个按钮来预防某些事情总是容易的。
因此，在这里-操作员可以在视频上注意到某些事情，如果在5分钟内不采取任何操作，将导致紧急停车并给公司造成损失。或其他不太有用的东西。
例如，堵塞设备。我们在这里写关于我们的挤出机以及它如何被堵塞。当堵塞已经成为事实时，生产管理系统会发出信号。一切都已经堵塞，发出适当的信号，机械装置停止运转以避免损坏或严重事故。操作员在观看安装时，可能会提前注意到锤击之前的因素。如果是聚丙烯，则可以看到附聚物（许多颗粒粘在一起并逐渐充满振动筛的表面）。
当然，视频监控是劳动安全。在描述此类情况时，他们以系统能够识别人员是否戴着头盔为例。对于离婚的人们来说，这听起来很美。现实情况是，在严肃的设施中，员工的自律水平足以理解：由于需要头盔，因此头盔必须像PPE的其他元素一样戴在头上。
因此，在劳动保护的情况下，我们分析员工在标准操作过程中采取的行动顺序的正确性，例如产品样本分析或人员在禁区内的简单案例。
但是，所描述的情况是系统的可选功能。视频监视和视频分析的主要功能是减轻操作员的负担，并帮助避免发生紧急情况。这有助于避免将所有摄像机的在线流广播到操作员的屏幕，而是仅自动显示发生了某些情况的图片。与正常情况不同的东西，需要人类的注意和决策。
但是，如果只观察和警告整个系统，那就太无聊了。因此，现在我们正在一次朝两个方向发展这个想法。
首先是预测。没有它，我们可以去哪里。由于我们收集有关某些情况的记录，这意味着我们已经拥有这些记录的存档，可以使用它们。例如，相同的木log：我们收集有关它们的发生方式，最常出现的位置，它们是哪种木，等等的统计信息，其强度是多少。然后，我们将获得的数据与从传感器收集的信息相结合。然后，我们去找从事预测模型构建的同事，我们有机会在他们的第一个迹象出现之前更准确地预测木and并调整制造过程。
第二个是与现有生产线的紧密集成。以前，如果很显然婚姻已经进行了，那只不过是要向经营者发出信号，并要求他们派一个活人把这一切都扯平。集成后，您可以自动发送快速命令以打开风门，之后婚姻将进入颠簸。
那么系统如何工作？
考虑到我们工作的地理位置，我们无法收集莫斯科的所有视频流并在此处进行处理。因此，我们的系统是分布式的，必须将其放置在尽可能靠近视频流的地方，否则现有的网络将不足以进行数据传输。在这里我们经常被问到-为什么您不想使用允许您直接在摄像机上进行初步分析的摄像机？我们想要！ :)但是！在这里，有两个因素同时存在，根据这些因素，相机上的处理仍然是一件很漂亮的事情，但在大多数情况下很难实现。
一是防爆。是的，这就是为什么我们在几乎每篇文章中都写它，因为几乎所有地方都需要它。当然，有防爆的机器视觉相机，但是它们的价格实在不菲。此外，爆炸性生产中此类基础设施的任何更改始终都是昂贵且费时的（因为，除了安装工作本身之外，还必须与监管机构进行项目准备和协调，这也是时间和金钱）。
其次，停产。如果我们有机会用更现代的相机替换相机，就不可能在不停顿生产的情况下去安装新的必要硬件。寻找合适的技术窗口的过程也延迟了实施。
事实证明，处理不是在相机上进行，而是在服务器上简单得多。因此，我们系统的范式是我们尝试充分利用已经安装的现有基础结构。负责视频流分析的服务器位于防爆区域，并尽可能靠近摄像机。提供与视频监控系统，数据湖，IoT平台和其他服务以及事件处理逻辑集成的集成总线已部署在生产集群中的多个虚拟机上，以确保高系统可用性。
我们特别感兴趣的是直接分析信号问题的解决方案。值得一提的是，并不是所有在SIBUR上运行的图像分析模型都是从头开始开发的。根据我们的最大使用范式，我们积极使用视频监视系统或其他公司的视频分析系统中已经存在的模型的工作结果。但是，如果没有安装的模型，我们需要查找/开发新的东西。为此，在系统设计阶段，我们开发并修复了模型的程序接口。
这为我们提供了吸引第三方开发人员并快速集成OpenVINO之类的好东西的机会。在识别中，我们有很多问题需要解决。从rgb空间中经典的检测和分类问题（振动筛上附聚物外观的分析）开始，继续进行对象跟踪（产品重新分级分析），最后在分析来自相机的流量以控制操纵器操作时使用rgbd进行处理。
石化产品的主要细微之处是样品的不平衡。在一切都很好的情况下，会有很多数据，甚至很多。但是当出现问题时，几乎没有数据。刻意走去，例如，为了收集测试数据集而给一条线打分是不可能的。从技术过程的角度来看，在某些地方，如果不停止和重新启动生产线是根本不可能的（由于停机，这将导致金钱损失），在某些地方，这通常是不安全的。因此，我们正在积极探索其他扩充和数据综合的可能性。这已经取得了成功，我们希望完成本文并发表有关它的文章：）
我们在Python上所做的开发和模型开发都非常相似。主要部署到Docker。
结果
该项目是一年多前启动的，在此期间，我们已经设法在沃罗涅日托木斯克，托博尔斯克的生产工厂实施了我们的软件。
借助该系统，操作人员可以及时处理许多事件。
最主要的是，该系统已证明它是有用的，并且按计划从生产中得到了积极的评估，在一定的情况下，我们将继续生产不合格产品一段时间，浪费了无法销售的产品，并且组装起来相当困难，如何处置。或者，当由于未注意到的故障而不是预期的产品时，我们生产另一种便宜的产品。
例如，聚丙烯是可能的。与我们生产的最后阶段是聚丙烯颗粒，您可以在我们的其他帖子和视频中看到这些颗粒。将它们放入袋中，运输，装满容器很方便，它们符合声明的性能特征。但是，如果您没有及时注意到并处理这种情况，您将获得另一种产品。附聚物会崩溃，颗粒会开始粘在一起。它仍然是相同的聚丙烯，但由于在生产过程中存在这种侧柱，因此这是一个不同品牌的产品。当然便宜。
因此，事实证明，该系统使我们既避免了人们花时间而又难过地闲置汽车时的额外紧急停车，也避免了生产此类产品的计划低于计划的情况。
对未来的计划
我们继续完善该系统，因为设施中有许多视频监视系统，并且它们是不同的，但是我们需要与每个系统集成。现在，我们正忙于在站点上建立完整的系统远程部署。在工厂中进行远程访问也不是那么简单，因此存在一些特殊之处-公司电路，不同的网段，安全限制等等。
另外，我们正在努力从传感器中更完整地收集数据，以便对正在发生的事情有最详尽的了解。
来自运营商的反馈大多是积极的。如果我们决定从“现在你们都将在这个新事物上工作”的范式开始构建系统，那很可能会有所不同。