您不仅可以在对话过程中在嘴唇上阅读，还可以在键盘上飘动的手上阅读。因此，通过在视频通话中攻击者看到的手的运动，可以猜测在传统QWERTY键盘上键入的密码和代码字。
美国开发人员创建了一种特殊的算法，该算法能够读取在键盘上打字的用户的肩膀和手臂的轮廓运动，对其进行分析并将其与输入的字符进行比较。接下来，AI准备一个可能键入的字母和数字的列表，这使得例如恢复授权期间键入的字符成为可能。所有这一切-在视频会议期间几乎是实时的。
有一种方法可以通过击键的声音来确定键盘上的键入字符。这需要访问目标PC。但是，该方法是不准确的，因为自然噪声会极大地干扰感知和分析。此外，声学密码分析不适用于具有低振幅击键的键盘。
该算法是由得克萨斯大学圣安东尼奥分校的开发人员发明的，它考虑了打字速度，手的使用顺序，监视其运动并计算单词中可能出现的字母数。该应用程序的武器库包括一个用作密码的最流行单词的字典。研究人员表示，视频信号比音频更不容易失真。
视频分析和解码算法的工作原理如下：
- .
- .
- .
- .
- : .
- .
- , .
研究人员在各种条件下测试了该算法。
在一个案例中，他们使用了一个包含65,000个最流行单词的词典，并从中选出了50个最可能出现的单词。准确性取决于所使用的网络平台。最准确的预测单词输入到Skype中。在相同的条件下，结果比“缩放”准确度高3.4％，比“环聊”准确度高8％。
在另一种情况下，他们选了4000字的字典。但是随后输入的单词中有75％出现在200个最有可能单词中。
一个有趣的细微差别：算法的工作高度依赖于受试者的服装。例如，裸手的人更容易受到攻击。实验参与者穿着无袖衣服时输入的字符的识别准确度为81.7％，而长袖和短袖的分别为74.4％和73％。
打字方式和识别精度受键盘类型和键之间距离的影响。但是，事实证明，这对于准确性并不是很重要。 Logitech键盘比Anker大得多，但准确性几乎相同。
除了在实验室中进行测试外，开发人员还观察到他们典型的家庭环境中的10名参与者：七名男性和三名女性。所有参与者的打字速度大致相同，均为每秒3.7次点击，错误率为86.7％。为了保证实验的纯度，引入了一些限制条件：通话时间为30分钟，建议的PC活动为10分钟等。
实验结果表明，在家里，并不是每个人都使用摄像机的位置，类似于实验室条件。另外，网络摄像头的不同分辨率会影响算法生成的信息的准确性。在一种情况下，头发完全覆盖了前臂区域，使得算法无法分析。因此，总的来说，捍卫自己并不困难。
