我的名字叫Anton Fedoseev，我是视频会议AR平台的开发人员，我们的生产设施都在使用该平台。我们推出了一项服务，通过该服务，员工可以通过视频与其他地区的同事进行沟通，获得专家（设备制造商）（也来自其他地区）的在线咨询，并且一次视频通话可以节省50万卢布到几百万卢布。
节省下来的钱是从哪里来的，在工业设施上使用这种服务的特殊性是什么，为什么我们不使用市场上现有的类似产品进行管理，以及我们如何生产我们的产品-我会在削减中告诉您。
一点历史
AR项目于2018年1月在SIBUR开始，同时开始积极开展工作以将Industry 4.0概念整合到我们工厂的各种生产场景中。到那时，SIBUR已经分析了许多与工业设备维修相关的案例，该公司正在考虑如何降低从该设备和服务公司的供应商那里吸引外部专家的成本，以音频和视频通信咨询代替他们的亲自拜访。
同年，我们使用市场上可用的许多解决方案测试了使用AR眼镜的远程维护技术，并确定了应用该技术的基本方案，并计算了实施该技术的经济效果。我们意识到，从技术角度来看，这样的项目既方便又可行。我们的Tobolsk企业成为了测试地点。
我们将我们的产品命名为“远程AR专家”。2019年，在仍在研究合作伙伴临时软件的“远程专家”的帮助下，进行了300多次视频通话-所有这些都是设备供应商，内部专家，建筑公司代表通过AR服务转移或接收所有必要信息的情况，不参加我们的生产 到2020年6月，SIBUR开始积极部署自己的AR平台，用于工业设备的远程维护和维修。
什么是AR远程维护和维修服务？
我们的增强现实服务易于使用，并且通常包括两个关键组件：增强现实眼镜RealWear和Epson（取决于环境条件，更多内容将在后面介绍）以及SIBUR自己的基于Android操作系统的移动媒体平台。与G-Core Labs合作开发。该平台使您可以使用WebRTC和成熟的通信平台，对维护和维修的整个过程进行完全数字化，组织高清广播，以实现现场专家与远程专家之间的有效交互。所有控制均通过语音进行，安装人员的双手完全自由。
工业设备供应商的代表或SIBUR内部专家与工厂专家保持联系，他们只需接收指向其个人电子邮件的链接，即可在任何设备上的任何浏览器（Chrome，Edge，Mozilla，Safari等）中启动视频会议。含税平板电脑和智能手机。
无需安装任何特殊的应用程序或程序。
SIBUR是一家地理分布的公司，我们的企业在俄罗斯的20多个地区（不仅限于该地区）运营，从该国的欧洲部分到西伯利亚和远东。有时，工厂与合格的专家之间可以相距数千公里，他们可以管理特定设备的维护或修理。例如，从莫斯科的公司中心到达位于西伯利亚的物体需要7到9个小时-在这段时间内，一切都会变，无论好坏。如果专家不在莫斯科，而是在另一个国家，该怎么办？这些工厂既经营俄罗斯的设施，又经营美国，日本，欧洲和亚洲制造商的设备。我们还考虑到您有时需要安排商务旅行-获得签证。这里应该注意与专家进行面对面的咨询并不便宜：这是差旅费，为专家全天工作的费用，甚至是几天的费用（按面额计费无法按小时计费）。一次这样的咨询可能使一家公司花费数十万至一百万卢布。如果要实行检疫限制，关闭边境和再次暂停国际航班怎么办？这就是为什么启动用于远程咨询的AR平台对我们非常重要的原因。关闭边界并暂停国际航班？这就是为什么启动用于远程咨询的AR平台对我们非常重要的原因。关闭边界并暂停国际航班？这就是为什么启动用于远程咨询的AR平台对我们非常重要的原因。
AR服务：必要的功能以及我们如何实现它
使用我们的服务的主要场景是群组视频通话。为了减少网络上的负载并提高传输视频的质量，我们使用了媒体服务器。该项目中使用的媒体服务器允许为多个客户端复制传入的媒体流，使其适应每个客户端的通信通道。它还允许您创建用户的实时预览，而无需将其他客户端的全尺寸视频传输到客户端。对于基于媒体服务器的客户端小组工作，实现了诸如缩放和记录之类的工具。
当他们说“视频会议”时，每个人都在代表skype或zoom。但是我们使用界面和文档，而在生产中我们使用设备，因此我们需要徒手来演示过程。环境本身也不同-通信工具不应引起火花。
为了释放“现场”专家的手，该平台提供了AR眼镜的完整语音控制：在命令下，它们将被激活，启动远程广播，录制视频并拍摄高分辨率照片。会话结束后，咨询记录将保存在企业服务器上。在会议开始时，将在眼镜的微型显示屏上显示所连接专家的姓名和注册，网络连接质量指示以及电池电量。
在严重霜冻下，眼镜可以正常工作2个小时。在这里，我们将回到火花的主题。在我们的生产现场，我们使用专为在气体危险环境中运行而设计的设备-这就是RealWear。对于维修车间的工作，可以在工业设计中使用防尘防潮的设备。在这里，我们使用爱普生设备。
关于图片
G-Core Labs帮助我们开发了媒体平台。稳定清晰的画面，能够看到很小的设备细节的能力-这对我们来说非常重要。在这方面，我们更改了WebRTC库的标准行为，其中，当与网络的连接速度降低时，图像质量下降，但帧速率保持不变。在我们的案例中，即使视频流的传输存在延迟，图像质量也至关重要。好吧，如果连接完全失败，我们的平台将优先考虑与运营商保持音频连接。
除了高质量的图片外，我们还需要增强现实-提示，通知。借助在眼镜的微型显示屏上显示的虚拟指针，设备供应商的员工可以指示工厂中专家的动作，指示他需要看的地方，转向的地方和要控制的地方。此外，聊天和发送贴纸已内置在AR平台的功能中。例如，如果连接有问题，则需要后者。在这种情况下，远程专家会发送信号标贴-例如，如果一切正确完成，则发出“滴答声”，如果您需要停止操作，则发出“停止”信号。
是什么使我们的服务与众不同？
SIBUR解决方案与市场上其他同类产品的主要区别在于，它可以深度集成到企业的实际生产任务和流程中，对维修过程进行全面的数字化处理并具有多功能性，从而可以在各种生产现场部署该服务。
在我们的解决方案中，我们制定了针对业务客户的完整角色模型-生产经理，站点经理，机械师，技术客户服务经理等。 AR服务提供了一个票务系统，这不仅意味着视频通信的可能性，而且还暗示了进行远程咨询的业务流程的全面数字化。借助该票务系统，我们可以指导客户解决已出现问题的整个路径，从检查必要信息的完整性到评估工作成本，外部或内部专家的必要能力和资格，确保信息安全并回答有关谁，何时何地与谁的问题。必须带眼镜在成功完成服务或维修之前，如何维护该系统以及所有这些交互是如何发生的。
当然，在俄罗斯，欧洲，亚洲和美洲，有一些系统可以让您使用增强现实眼镜来组织视频通信。但是，迄今为止，在工业企业中实施此类项目的成功很大程度上取决于集成到内部流程以及为工业流程和任务定制的二手IT平台的质量。
局限和挑战：否-插件和WiFi，是-LTE和微服务架构
创建平台时的要求之一是在用户的计算机上不安装任何东西（插件或程序）。我们已经使用Web客户端和现代浏览器满足了这一要求。几乎所有现代浏览器（台式机和移动浏览器）都支持WebRTC技术。我们的服务基于此。简而言之，WebRTC允许您使用RTP协议在参与者之间建立流音频和视频通信，该协议又通过UDP运行。有一种机制用于选择在参与者之间建立连接的路径（ICE），一种用于协商媒体流格式（SDP）的机制，一种用于估算通信信道带宽的算法，一种用于自适应媒体流压缩的算法以及诸如回声消除之类的媒体处理算法等。最近，WebRTC在浏览器和开发中得到了很好的分发。由于存在防火墙，防病毒软件，路由器和NAT，因此不一定总是可以使用UDP在参与者之间进行数据传输。为了解决这些问题，发明了STUN和TURN。对于UDP不可用的情况，现在可以将TCP用于ICE。 TCP支持也已添加到STUN和TURN。
TCP可以为可能受到NAT，防火墙，公司防火墙和其他各种网络限制的外部客户端提高我们的服务可用性。但是，使用TCP协议而不是UDP改变了WebRTC的行为。在通过UDP协议传输媒体数据的过程中，可能会发生丢包，重复，重新排序以及小的延迟。 WebRTC可以正确处理所有这些情况：图像伪像或声音失真可能会在短期内出现。使用TCP时，不会有数据包的丢失，重复和重新排序-这可以通过协议中嵌入的算法进行监控。但是，这在接收数据包时会转化为较大的延迟和抖动。从视觉上看，它看起来像是死帧，视频源和另一个客户端上的显示之间的延迟逐渐累积。在对媒体服务器进行更改之后，我们实际上设法摆脱了延迟的累积，但是并没有克服帧冻结问题。在接收数据包的长时间延迟情况下，决定暂时禁用来自媒体服务器的视频传输。即使在恶劣的网络条件下，该解决方案也可以保留参与者之间的语音通信。即使在恶劣的网络条件下，该解决方案也可以保留参与者之间的语音通信。即使在恶劣的网络条件下，该解决方案也可以保留参与者之间的语音通信。
市场上所有工业智能眼镜都通过WiFi连接到网络。这在西布尔工厂的广大地区给眼镜操作带来了一定的困难。考虑到工厂和设施的规模，要想在工厂中要使用智能眼镜进行工作的所有地方提供稳定的WiFi连接是一项相当艰巨的任务。在开放空间中使用LTE无线网络更高效，更便宜。但是，这种解决方案要求员工拥有其他设备-LTE调制解调器。车间的钢筋混凝土结构及其内部的金属设备箱也很好地屏蔽了LTE网络。为了覆盖建筑物内部，使用了固定式LTE调制解调器和WiFi广播网络。使用智能眼镜时，与服务器的连接质量不稳定，有时会折断。为了不丢失有关员工戴眼镜做什么以及如何做的信息，眼镜将视频记录在内部媒体上。该视频以高清质量录制，不取决于网络状况。我们能够远程擦除眼镜上的数据，并在检测到根源的情况下删除数据。
所有SIBUR服务都是使用微服务架构构建的。我们的平台也不例外。实际上，它由两个微服务组成：BPM微服务和视频呼叫微服务。我们还使用其他团队部署或开发的微服务：用于与用户合作的身份验证微服务，用于邮件和SMS邮件的通知微服务，以及其他一些微服务。微服务使用gRPC相互通信。客户以相同的方式与我们的服务进行通信：对于智能眼镜和Web客户端。但是，Web客户端不直接支持gRPC。他们有一个用于gRPC-web的库，该库与gRPC不兼容。要访问该服务，请使用gRPC网关，它将gRPC-web转换为gRPC，反之亦然。
目前，我们已经构建了一个模块化平台，该平台可提供稳定和高质量（在网络允许的范围内）的视频和音频通信，并且还能够通过添加新的模块和设备来扩展其功能。仍有大量工作要做：计划与SIBUR的其他信息服务进行更紧密的集成，研究新一代智能眼镜以及AR和VR头盔，增强现实工具的实现以及我们的同事和第三方合作伙伴的有效协作。