俄语文本中的情感分析，第3部分：挑战与前景

情感分析已成功用于社交媒体，评论，新闻，甚至是教科书。基于上一篇文章中对俄语的关键研究，在这里，我们着眼于研究人员面临的主要挑战以及未来的有希望的方向。与以前的作品不同，我专注于应用程序的应用，而不是方法本身及其分类质量。

注意：本文是为科学杂志撰写的，因此将有许多链接到资源。

1.通话中

在对研究论文进行分析的基础上，确定了十个常见问题。通常，研究人员通常面临多种挑战，包括访问代表性历史数据和教学数据，以及注释情感，详尽描述研究局限性以及从课文中提取主题。

1.1。在分析来源中访问代表性历史数据

通过源API或聚合平台收集的历史数据（例如出版物和评论）经常在情感研究中使用和分析。有时，API开发人员仅提供对已发布数据的部分访问权限。例如，Twitter的核心API遵循一项政策，即只有历史的Twitter API才可以访问所有打开的帖子。对于聚合平台，即使它们声称拥有对特定源数据的完全访问权限，也无法验证这一点。因此，只有两种方法可以确保数据具有代表性：

1. API , . , API .
2. . , OK Data Science Lab [98].

1.2.

尽管俄语是Internet上使用最广泛的语言之一，但其中的来源数量明显少于英语，特别是在情感分析领域。尽管许多研究致力于俄语文本中的情感分类，但只有其中一些作者才公开提供了其数据集。如果没有可用的集合可以应用于研究主题，则作者可以手动标记训练集。在分析了文学来源和科学著作[142]，[173]之后，我确定并描述了14种可公开获得的数据集，用于分析俄语文本的情感（见表2）。我只考虑了可以根据相关科学论文或官方站点中所述的说明进行访问的那些套件。在这方面，它们不包括在列表中，例如，ROMIP设置为[174]，[175]，因为无法通过其官方网站访问数据。



表2.用于情感分析的俄语数据集

1.3. .

使用第三方分析系统，例如SentiStrength [22]，Medialogy算法或POLYARNIK [107]，作者通常不会在分析的文本上写出分类的质量，因此很难验证研究结果的准确性。我认为使用第三方解决方案也是由于以下事实，即研究人员没有注释用于测试分类指标的文本测试集。但是，这一阶段的推出似乎将大大增加这项工作的科学价值。因此，我强烈建议作者手动注释目标数据样本以测量情感分析中的分类指标。

1.4。从文本中提取主题

为了提取主题，大多数研究都使用主题建模技术。但是，如果与感兴趣的主题相关的文本所占的比例明显低于1％，则主题建模将不允许进行主题提取[54]。此外，主题模型在分析短文本时表现出较低的准确性，特别是如果它们代表日常讲话[54]。因此，需要开发出更准确且噪声依赖性较小的方法。

1.5。用于手动标记的情感注释指南。

由于并非总是可以获得有关感兴趣主题的相关俄语培训套件，因此研究人员通常会手工注释文本。如果没有手册说明和注释过程的其他详细信息，则很难验证数据集的标记质量。清晰，简单的分步说明对于从认证的语言学家和非语言评估者那里获得高质量的注释至关重要[176]。某些类型的文本特别难于注释音调，例如，说话者的情绪状态，宝贵信息的中性交流，讽刺，嘲笑等[162]。



作为注释俄语情感的指南的示例，可以使用使用RuSentiment注释开发的指南进行进一步研究[142]。如果您没有认证的语言学家来注释，则可以使用Yandex.Toloka（一个用于手动注释数据的众包平台）的评估人员的帮助。它已经被用于俄语文本[177]-[180]的一些学术研究中。还强烈建议发布注释者之间的协议，例如Fleiss的kappa [181]或Krippendorff的alpha [182]，以及注释过程的其他详细信息。

1.6局限性的全面描述

分析的大多数论文都提供了不完整的限制清单。除了技术和方法上的局限性外，强烈建议您描述：

• 互联网在该国的盛行。关键限制之一，因为某些人群不会被研究覆盖。根据2018年12月的Omnibus GFK民意测验结果[9]，俄罗斯的互联网普及率达到75.4％，9000万年龄在16岁及以上的俄罗斯人使用互联网。年轻人（16-29岁）和中年人（20-54岁）的互联网使用率接近饱和水平，分别为99％和88％。但是，尽管患病率显着提高，但55岁以上的人群中只有36％使用互联网。
• . , [183]. , . , . , , , , .
• . , , . , , . , , , , ; ; ; , , , , ; . , . , .
• . Freedom House 2018- [184], 53 65. 2012- , IP-, URL. 2019- . , , . , , .

1.7. .

由于人们可以表达对大量主题的观点，因此分析所有这些观点可能会占用大量资源，因为必须为每个主题标注训练集[186]。缺少用于训练全主题情感分析模型的带注释的文本集会导致分析准确性下降。根据一项研究[187]，主题间分​​析具有三个重要问题。在一个主题的上下文中表达的观点可以在另一主题的上下文中被颠倒。第二个问题涉及在分析中需要考虑的不同主题的情感词汇之间的差异。最后，将情感强度的标记分配给情感词典中的每个标记是合理的。

1.8。讽刺和讽刺的定义

在线交流通常包含讽刺和讽刺的短语[188]，即使是人类也不总是容易识别，更不用说自然语言处理算法了。到目前为止，很少有研究[189]致力于俄语中反讽和讽刺的定义。因此，为了正确处理广泛的意见，需要开发和应用更多具有自动分类复杂语音技术的方法。

1.9。定义机器人

僵尸程序对社交媒体的各个方面都有很大的影响，尤其是当它们占用户的大多数时。它们可用于与舆论有关的各种恶意任务。例如，为了提高名人的知名度或散布有关政客的虚假信息[190]。结果，需要开发机器人检测方法并将其应用于情感研究。

1.10。分析结果的效率

关于通过自动分析网络上的数据来测量响应的有效性，仍然存在很大的分歧。几项研究[191]，[192]发现，社交媒体方法的准确性不如传统研究。其他人则声称[193]，这些方法表现出比传统方法更好的性能。因此，如果可能的话，强烈建议将研究结果与使用其他方法获得的结果进行比较。

2.有前途的研究领域

在回顾了文献之后，我确定了未来研究的七个机会。



总体而言，未来的研究应仔细检查本文介绍的情绪监控方法，以识别各个方法之间的潜在协同作用，以更完整地分析不同文本来源中表达的情绪。

2.1学习与语言模型知识的转移

大多数工作使用基于规则或简单的机器学习方法。只有两项研究[69]，[72]使用了神经网络。然而，最近的工作表明，通过从预先训练的语言模型中转移知识进行学习可以有效地解决情绪分类问题，自信地取得良好的效果[43]，[194]-[198]。



因此，使用微调的语言模型可以显着提高情感分析的质量，从而提高情感监控结果的准确性。最初的研究在[199]中进行，他们的作者用ELMo嵌入训练了浅-宽卷积神经网络[42]，并在RuSentiment数据集[142]上获得了新的记录分类指标，超越了以前的所有神经网络方法。作为朝这个方向迈出的第一步，研究人员可以针对不同的俄语文本集训练和发布基准学习转移率。

2.2。多语言文本的情感分析

俄罗斯是一个多民族国家，因此是多语言的。因此，不同的人和一群人可以用不同的语言表达他们的意见。语言学家在俄罗斯计数超过150种语言，首先是俄语，占该国人口的96.25％，最后是Negidal，该国在阿穆尔州有数百人使用。多项研究分析了多种语言的文本，从而使作者可以覆盖更广泛的来源，并比较不同语言对同一主题的观点表达。



为了用不同的语言对情绪进行分类，一些研究人员将所有文本翻译成一种语言，并进行了单语情感分析（例如，[72]）。其他人已经开发了多语言分类模型（例如[79]）。作为后一种方法的发展，研究人员可以使用预先训练的语言模型，例如，来自变压器的双向编码器表示[43]和多语言通用句子编码器[198]。

2.3。从一般主题文章中摘录

在大多数案例建模研究中，作者仅选择了几个主题进行提取和未来分析。但是，这种方法不允许从大量文本中提取相关主题，例如，当与感兴趣主题相关的文本份额远小于1％时[54]。此外，主题建模在分析短文本时显示出较低的准确性，特别是在日常演讲中[54]。如果可以获得大量有关一般主题主题提取的训练数据，则主题提取问题不仅可以缩小到主题建模，而且可以缩小到文本分类问题。



在使用语言团队注释或众包的基本方法的情况下，创建这样的数据集似乎是一个耗时且资源密集的过程。但是，某些社交媒体平台为用户提供了标记其帖子的功能，例如Reddit和Pikabu。这意味着此类社交网络的用户将接管注释过程；因此，通过额外的验证，该数据可能会用于创建训练集，以从消息中提取一般主题。

2.4。对内容的喜欢和其他类型的反应，作为表达情感的间接方式

在大多数研究中，意见表达仅通过出版物的内容进行评估。但是，对帖子的喜欢和其他类型的反应可能是读者表达情绪的来源。因此，在监视情绪时可以考虑此信息。在一项研究中[200]，进行了初步的工作来研究发布喜欢和对出版物的情绪之间的关系：研究人员研究了出版物内容的作用，出版物作者与用户个性之间的关系。基于在线研究，作者认为，带有积极情绪的帖子通常会自动被点赞，而无需仔细阅读。还应指出，出版物的积极性与相对动机和文字动机相关。除了简单的“赞”按钮之外，一些社交媒体平台还引入了响应功能，以使用户可以轻松地显示其对消息的情感反应。例如，Facebook的反应包括“赞”，“爱”，“哇”，“哈哈”，“愤怒”和“悲伤”。



Smolyarova等人[201]在他们对讲俄语的Facebook用户的反应行为中的情绪刺激进行的研究中，发现Love反应通常以一种直接的方式使用，从而成为了传统Like的替代方法。相反，触发Wow反应的帖子也可能会带有其他情感标记。诸如Love，Haha和Wow之类的反应往往会阻止通过评论或共享按钮[202]与帖子进一步互动的愿望。因此，研究的潜在重要领域是反应，人们的情绪和出版物的情绪之间的关系，可以在将来用于监视情绪。

2.5。情绪的上下文分类

用户在文本中的情感反应在很大程度上取决于上下文：同一文本在一种上下文中可以表达积极的语气，而在另一种上下文中则可以表达消极的情绪[203]。因此，在分析对话的语气（例如评论中的回复）时，除了情感反应本身之外，捕捉对话的上下文非常重要。研究人员在分析对话时应注意情感的上下文分类。

2.6。较少研究的内容的内容分析

尽管有其他流行的社交网络可以用作数据源，例如Odnoklassniki，Moi Mir和RuTube，但仍有很大一部分研究工作来自VKontakte，Twitter，LiveJournal和YouTube。因此，研究人员可以关注Odnoklassniki，因为它是俄罗斯第二大社交网络，该国42％的人口使用该社交网络[98]。该平台在35岁以上的用户中很受欢迎，因此它可以成为上一代人的有用意见来源。此外，可以通过OK Data Science Lab（由Odnoklassniki开发的一个用于研究的平台）访问Odnoklassniki的代表性统计数据。

2.7。自动分析社交媒体内容以替代传统调查

目前，在线文本分析的结果不能被认为是传统的基于民意测验评估意见的方法的替代方案[204]。为了克服这一障碍，需要将数据推广到较大人群的理论基础[205]。传统的大规模民意测验假定意见与社会人口统计群体相关联，而可靠的人口统计信息通常在社交媒体上不可用。研究人员可以使用地理位置信息，用户个人资料数据以及性别和年龄预测系统[206]-[211]将他们的发现与传统民意调查进行比较。

2.8。监控社交网络俄语部分的情绪指数

在2010年的开创性论文[212]中，Mislov等人通过使用基于字典的方法分析了来自美国的3亿多个基于位置的Twitter消息，调查了一天中的情绪动态。注意到了一些有趣的趋势，例如在清晨和傍晚时最高的幸福感。周末比工作日快乐。通过在Twitter上对巴西人的情绪进行的研究[213]证实了所揭示的模式，该研究使用了朴素的贝叶斯情绪分类法[30]。 Dzogang还研究了情绪变化中的昼夜节律模式[214]。如果已经对许多语言进行过此类研究，那么迄今为止对俄语文本的研究很少[93]，[137]。就分析数据的数量而言，可以对它们进行更广泛，更深入的探索，情感分类模型的质量和社会指数的计算方法。



同样，一些研究致力于开发俄语俄语社交网络中的情绪监测系统，但作者通常没有报告监测结果。例如，ITMO大学的研究人员描述了一种评估舆论情绪情感的方法[215]，[216]的作者考虑了使用文本信息智能分析来监视社交网络的一般原理，在文章[148]中，作者描述了通过以下方法监视公众情绪的软件的开发俄语Twitter消息。

3.结论

如我们所见，俄语已经有了一个很好的研究基础，涵盖了广泛的研究目标和分析来源。但是，进行新的研究时还应考虑许多挑战和有希望的领域。

4.资料来源

完整的资源列表可以在这里找到。