为了接听电话，我们使用了Voximplant平台，并识别了问题和答案-DeepPavlov。语音助手在两个半星期内启动，它帮助处理了5,000个电话。我们设法推出了一款产品，可以帮助Ta斯坦共和国的居民从当局那里获得可靠的信息，然后便走上街头。下面我们将告诉您我们是如何做到的。
任务是什么
我们最初计划制作语音助理，以帮助人们获得政府服务并回答常见问题。但是，当整个带有冠状病毒的began头开始出现时，我们意识到Lilia将帮助卸载呼叫中心：例如，在热线中提供建议，帮助获得数字通行证和失业救济。一个人可以在国家服务网站上找到的所有东西都可以从莉莉亚那里找到，你也可以和她聊天。
. 1 -: , . : , , , . 12.
. , . , . , , , — « ».
除了发行数字通行证外，莉莉亚还必须回答Ta斯坦居民的问题。我们设计了一个语音助理，可以回答常见问题，例如“获得通行证需要做什么”和“生姜对冠状病毒有帮助吗？”
为了解决这个问题，我们可以制作一个普通的IVR。但是，IVR需要花费很长时间，如果您正常进行操作，则需要构建一个复杂的体系结构。通常，没有时间这样做。我们认为制作语音助手（将语音翻译成文本，对其进行处理，对意图进行分类并给出语音响应）会更容易。呵呵。
从用户的角度看
这里的一切都很简单。
- 该男子拨打了热线电话，他被提供在与接线员和莉莉亚通话之间进行选择的机会。在任何阶段，您都可以切换到实时操作员。
- .
- , . , -.
为了接听电话并实施脚本，我们使用了Voximplant平台：编写了脚本并连接了答录机信号。莉莉向那个人打招呼，问他想要什么。
呼叫者通过电话提问。然后莉莉亚开始听。在VoxImplant，我们使用ASR模块将语音转换为文本，并在后台调用了Yandex.SpeechKit模型。因此，音频流被转换为文本，然后进行标记化和词干化。我们还尝试提取功能：NER，POS和Chunk作为基本的ML方法，但是所有这些花费了很长时间。
例如，最初，从“请告诉我如何保护自己免受冠状病毒”这一问题开始，我们将“保护”和“冠状病毒”作为词干，并将其转换为载体形式。实体的向量表示形式包含在冠状病毒（以及后来的公共服务）分类器中。现在，DeepPavlov正在做所有这一切。
此外，根据置信度（置信度），可能有几种选择：
- 如果网络以足够的信心对问题进行分类（根据研究，阈值是按类别分别选择的），那么Lilia将回答问题。
- 如果网络的置信度响应较低，我们可以认为这是我们未在数据集中涵盖的问题（但该问题仍涉及冠状病毒域），或者该人只是想谈论另一个话题。例如，他问“谁是埃隆·马斯克”。
对于此类问题，我们使用了在Wikipedia转储上训练的BERT模型来解决知识库的问题。
最后，莉莉亚肯定会通过问：“我回答了你的问题吗？”来验证对意图的认识和答案质量的正确性。如果用户回答是，那么Lilia将等待下一个问题。如果不是，那么我们将要求您重新提出问题，然后重新经历整个周期。碰巧这是行不通的。然后现场操作员进入战斗。
现在，莉莉亚（Lilia）用Yandex语音合成器的悦耳声音说话-我们稍微改变了琴键并提高了速度。有时Lily会混淆重音，但这可以通过标记解决。当然，我想添加Tatar，但到目前为止很难。
考虑到数据集，该项目总共花了两个半星期的时间：提出了一个想法，我们与部长以及藻类讨论了该项目。花了一周时间进行估算和研究，开发又花了10天，然后我们完成并确定了附加功能。主要的马是Nvidia RTX2070。BERT需要大约12-16 GB的视频内存。
从LSVM和catboost到DeepPavlov
在开发过程中，我们使用了不同的分类器模型。首先，我们尝试了机器学习模型，例如随机森林，LSVM，catboost，logreg。通常，机器学习模型的准确性不是很高。这是为什么？因为许多用户问题彼此非常相似：“我的孩子患了冠状病毒怎么办”这个问题与“在冠状病毒期间可以和孩子一起走路”这个问题非常相似，尽管这些问题是不同的类别，并且需要不同的答案。
我们可以进行实体提取，抽样，研究。但是我们很着急。因此，我们决定在工作中使用MIPT的DeepPavlov库，通过Logistic回归得出的准确度为78％，而BERT则为84％。
答案的准确性取决于数据集的标记。我们在热线电话中列出了200个问题，但没有适当隔离。例如，人们问一个亲戚生病该怎么办，问题是冠状病毒的症状是什么。ML模型感到困惑。
未来的结果和计划
Lilia工作了2个星期，处理了5000个电话。在这段时间里，莉莉亚极大地方便了热线服务员的工作-他们不必回答琐碎和重复的问题。多亏了Lilia，用户才能获得通行证，问题答案并进行了交谈。当然，有些用户向她发誓并要求将其转移给操作员。
自我隔离制度被取消，数字通行证不再有效，但莉莉亚仍然在行列中。她继续回答有关冠状病毒的问题，但是现在已经增加了回答与公共服务有关的问题的能力。
我们是一个部，实际上，我们有两个任务：使其他部门正常使用技术，使so斯坦的居民能够轻松，简单地与国家沟通。第二项任务完全由国家服务门户-我们的，本地的而非联邦门户来完成。但是，此门户网站是一个站点和一个应用程序，对于某些人来说仍然很难访问。如果居民不访问门户，那么门户将转到居民，也就是说，我们正在努力简化那些不特别使用Internet的人们与门户的交互。
现在，Ta斯坦共和国数字事务部正在努力确保人们可以通过语音和聊天获得政府服务。我们希望提供一个通用的助理，您可以打电话/写信并获得所有重要问题的答案。
到目前为止，莉莉亚（Lilia）可以告诉注册处开放的时间，并且将来我们计划她将能够读取电表读数（但这仅在我们解决此数据传输的安全性问题时）。通常，我们会将Lilia变成一个单独的产品。
如果您有兴趣教莉莉亚，欢迎加入我们的团队。