HMS Core 5.0评论:更多移动ML功能以及新的音频和视频工具





哈Ha!我们与Harmony OS一起推出了HMS Core的第五版,这是一套可用于开发华为生态系统应用程序的工具。我们增加了处理内容的新可能性,侧重于数据安全性,设备之间的交互并扩展了AI工具的可能性-我们在HDC.Together会议上详细讨论了所有这些内容,在本文中我们将概述HMS的新功能。



用于ML和AI的工具



ML Kit 中包含与AI合作的主要服务,使您可以使用文本,语音,图片,AR / VR技术。在HMS Core 5.0中,我们将受支持的语言数量增加到50种,并且可以在20种语言之间进行翻译,同时文本和语音记录都被接受作为输入。 ML Kit还可用于过滤垃圾邮件和任何淫秽图像。 



使用ML Kit,可以将语音记录转换为文本格式,反之亦然,并且我们通过Video Course Creator扩展了此功能,它会自动创建教育课程:它将教育课程,老师的评论以及预设的音频和视频参数作为输入-在广播过程中,老师可以参考必要的资料并将所有录制的资料组装成一个课程。







我们特别强调了脸部识别,手势和姿势。由于这一点,ML Kit可用于人脸验证-系统通过API连接,可用于快速访问应用程序而无需任何其他操作。 



您可以在不同级别使用AI和ML工具:

  • HiAI , , NPU-.

  • Ability Gallery AI .



AR/VR 



我们的AR引擎分析有关照明,平面,物体形状,表面类型的信息,并可以搜索空间中的特定物体。另外,系统可以使用锚点构建3D方案,并跟踪人类的移动,手势和面部表情。例如,分配21个点来确定手的位置,分配23个点来确定身体的位置。现在,该系统可以识别6个姿势并同时分析2个人。





在第五版中,HMS Core CameraKit提供了多种拍摄模式:大光圈,人像模式,HDR,背景虚化,超级夜晚模式以及其他类似的拍摄模式。在照片和视频拍摄中使用AI进行滤镜预选和色彩校正也成为可能。 



设备协作



新版本的HMS Core具有多个新引擎,用于不同设备之间的协作。我们使用DeviceVirtualization引擎简化了设备与智能事物之间的交互。它将外围设备转换为虚拟对象,并允许电话以与正常功能相同的方式使用它们。



在相同的方向上,我们开发了Cast引擎,该引擎使手机可以在多屏模式下工作,并可以高清图像传输到电视。我们还计划通过其他应用程序添加使用Cast Engine的功能。



另一个新的OneHop Kit引擎与NFC一起使用,并允许您一键式在设备之间安全地传输数据。借助它,您可以彼此同步华为设备,传输文件并在其他设备上打开应用程序,其设置与主设备上的设置相同。到目前为止,它仅能在华为手机和平板电脑之间工作,因此我们提供了一种用于与其他设备通信的共享引擎,该引擎通过蓝牙提供高达80 Mb / s的速度。 



视音频



图片

在新版本中,我们开发了一些新的SDK工具来处理音频和视频。音频工具包视频工具包支持主要的文件格式和编解码器,可以轻松地集成到应用程序中,并读取,保存和删除列表,播放序列,调整播放速度。所有音频和视频均受加密算法保护。



音频套件现在具有音频引擎,可以通过优化延迟和乐器的其他功能来录制高质量的声音。视频引擎又支持主要协议HTTP,HTTPS,HLS,DASH。它还允许您使用Video Kit WisePlayer SDK来组织来自第三方服务的流。



基于我们的服务华为Meetime已经推出了CAAS套件用于视频通话,可提供高清画面的播放和传输,即使连接不稳定。该引擎还允许您共享屏幕,绘制涂鸦,并使用虚拟化技术将图像传输到其他任何可用于商务会议的设备。



图片和3D渲染



Image Kit已经 出现用于图像处理-它提供20多种滤镜和视觉效果,包括带有渲染的动画。它包括2个SDK:用于色彩滤镜的Image Vision SDK用于动画效果的Image Render SDK。 



Scene Kit旨在与3D对象一起使用:它使用物理正确渲染(PBR)的方法,并允许应用程序通过API进行连接并接收复杂对象的3D模型。该引擎提供了三种方案:用于共享场景(非AR)的SceneView,用于共享AR场景的ARView和用于在AR场景中处理人脸的FaceView。 



分析与安全



在华为Core 5.0中,我们启动了动态标签管理器(DTM)标记系统来跟踪用户的营销活动:它与华为服务本身以及与第三方平台集成在一起,用于发送和处理数据。使用DTM,您可以在Web用户界面中动态更新标签,跟踪特定事件,并将数据发送到第三方分析平台。我们的系统专注于安全性,这就是为什么DTM引擎还用作跟踪可疑活动的反欺诈系统的原因。



HMS新版本的功能之一是使用LocalAuthentication Engine进行人脸验证... 它与红外摄像机配合使用,该红外摄像机从参考点构建模型并通过ML Kit进行验证。 



最后,我们关注内容保护:对于音频文件,使用高速缓存加密,对于视频-播放期间的抗分解系统和身份验证,以及与摄像机配合使用的端到端加密。HMS的所有数据都存储在受信任的TEE环境中,在该环境中执行加密。







在哪里可以找到更多?



HDC.Together会议的所有录像都可以在此处找到在这里,您可以收听有关平台更新的报告,使用HMS工具的主要场景,并在带有huawei-mobile-services标签Huawei Developer Forum或Stackoverflow上提问技术问题



All Articles