如今，电影和视频游戏中经常使用运动捕捉（motion capture）技术。但是还有其他选择可供使用：今天，动作捕捉有助于争夺最佳机器操作员的称号，可以让您诊断步态，为子孙后代保留小人们的舞蹈，并在将来使您能够从舒适的沙坑中发动一场真正的战争。
马，模型无产者和核爆炸：动作捕捉创作者试图拍摄什么？
1878年，加利福尼亚州州长，史丹福大学的创始人兼骑马爱好者利兰德·斯坦福与他的朋友们打赌。他争辩说，一匹马在某一时刻奔腾驰s，将所有四只腿抬离地面。朋友们不同意，因此不可能从视觉上证明或证实这一假设。斯坦福大学随后聘请了著名的摄影师和动物运动研究者爱德华·梅布里奇（Edward Muybridge）解决了这一纠纷。在Leland位于Palo Alto的农场上，建造了一个特殊的“照相馆”-畜栏由白墙和从对面墙对准它的照相机组成。绳索被拉过与照相机大门相连的畜栏路径。当马开始疾驰时，骑手将其引导到照相馆，动物的腿碰到了绳索，大门工作了，并出现了一系列照片。
chronophotography就是这样诞生的，它是第一个帮助解决25,000美元纠纷的动作捕捉技术。
斯坦福证明了他是对的：在疾驰中，这匹马确实将所有四条腿抬离地面，但是此时，它们被塞在身体下，并且没有来回伸展，这是不同时代的艺术家经常描绘的。这个小发现在XIX-XX世纪之交的艺术评论家和艺术家中引起了轩然大波。顺便说一下，只有黑马被用于射击-它们的运动被更清楚地记录在照相馆的白色背景上。资料来源：Eadweard Muybridge / Wikimedia Commons
但是运动捕捉技术很有趣，不仅因为有赢得赌注的机会，而且随后出现了多种基于计时摄影原理的设备。例如，摄影师阿诺德·隆德（Arnold Lond）于1891年发明了12镜头计时摄影机，以捕捉神经学家让·夏科特（Jean Charcot）患者的面部表情。从那时到现在，主要和最困难的任务一直是重现捕获的动作。
对此机会最感兴趣的是乘数。在20世纪的前十年，卡通时代开始了，它们要么是木偶，要么是手绘的。艺术家们力求使绘画人物的动作达到最大的可信度。这是由美国发明家马克斯·弗莱舍（Max Fleischer）实现的，他与他的兄弟戴夫（Dave）一起在1914年发明了旋转照相技术。首先，是拍摄真正的演员。然后将此记录逐帧放大，投影并复制到玻璃管腔上。艺术家在描图纸上画出了每一帧。结果是一部具有逼真的角色的新电影。
, , , . Tantalizing Fly (« ») . . «», « 7 », « », «-», «», « » . : Mohamed El Amine CHRAIBI / YouTube
通过录像捕捉运动的真实再现，这些年来，苏维埃俄罗斯的科学家们对热衷于劳动的科学组织感兴趣。如果您深入研究无产阶级最优秀代表的运动，那么您就可以教其他工人-这是苏联领导人和科学家的逻辑。这个主题由在莫斯科创建的中央劳工学院（CIT）处理，并由研究人类运动的生物力学科学方向的创始人尼古拉·伯恩斯坦（Nikolai Bernstein）监督。伯恩斯坦（Bernstein）在他的实验室中进行了测绘法研究：受试者穿着特殊的衣服，包括数十个小灯，起着记号笔的作用。然后，使用快速胶片拍摄（每秒100-200帧），获得了一个循环图。测量移动或跑步者的位置时的误差仅为0.5毫米。
多年来，伯恩斯坦研究了运动员，工人和音乐家的动作，这有助于提高比赛的表现并开发不同领域的教学方法。尽管在与“世界主义者”的斗争期间感到耻辱，伯恩斯坦仍然设法提出了使宇航员适应失重状态的建议。来源：Thomas Oger / YouTube
值得一提的是，伯恩斯坦（Bernstein）预计会出现光学和声学运动捕捉技术，为此，仍在使用与人体相连的传感器。
这个想法是由美国人李·哈里森三世提出的，他曾对模拟微电路和阴极射线管进行过实验。 1959年，他设计了一套带有内置电位计（可调电阻器）的套装，并能够在阴极射线管上实时记录和动画演员的动作。尽管这是原始设置-动画演员看起来像屏幕上的光柱-但它是第一个实时运动捕捉。
同时，当通过以高速或从不同视角拍摄物体来实现运动捕捉时，光-光学方法便开始发展。 1940年代创建的Rapatronic相机的发明者Harold Edgerton为此做出了巨大贡献。它能够以仅10纳秒的曝光时间记录静止图像。借助这种设备，科学家能够捕获非常快速的事件-从飞溅的水滴到核爆炸的水花。
炸药爆炸后瞬间产生的核电荷爆炸瞬间，由rapatronic相机捕获。资料来源：美国联邦政府/维基共享资源
到20世纪末，形成了两种主要的运动捕捉技术，通常称为标记和无标记。在第一种情况下，运动捕捉是使用放置在人体上的标记或传感器进行的。它们可以不同：红外线，磁性，陀螺仪。红外光可以反射（被动）或发射（主动）光，磁性光会扭曲磁通量，并且波接收器确定其在空间中的位置，陀螺仪传感器还发送有关人体在空间中位置变化的信息。
无标记系统基于光学捕获。房间中装有很多摄像机，它们可以从不同角度拍摄。然后将生成的图像合并为3D模型。另一种类型是外骨骼，它附着在身体上并创建动画模型，以捕获运动。
如果随后需要将捕获的角色模型放置在虚拟环境中，则将其在绿色房间（抠像）中拍摄。绿色与人体的颜色形成了鲜明的对比，因此计算机在从帧中修剪绿色像素方面效果更好。资料来源：东芝
动态捕捉主要用于电影和视频游戏中。但是，每年，这种技术在娱乐业以外的地方都越来越多地使用-在制造，医学，文化遗产保护，体育和军事事务中。
在我之后重复：东芝如何教您如何使用运动捕捉进行归档？
您可以无休止地查看火，水以及某人的工作方式。有时您可以从中受益。我们东芝很久以前就已经弄清楚了，这就是为什么我们的公司制造工程中心拥有运动捕捉专家中村裕明。最近，他热情地关注着全国专业锦标赛的参赛者如何工作-从烘焙到焊接的不同领域的特殊比赛，专门针对不同领域的工匠。
2018年，东芝一家企业的年轻工人冈部春树决定参加本次比赛，特别是在小型设备的组装中。组装时，参赛者使用一个好的旧文件进行某些零件的最终处理。可以相信，该行业的一流技术人员可以达到0.001 mm或更小的加工精度，否则该设备将无法工作。在这里，我们的参赛者变得虚弱，错过了比赛的胜利。
东芝派出了一位66岁的讲师松井达夫（Tatsuo Matsui）来指导这位年轻的专家，他在公司的企业中工作了50多年。但是，并非每位具有独特技能的人都天生能传授这些技能的好老师。他解释说，问题出在机器上的参赛者手中，但此事并未进一步解决。然后，我们俩都穿着动作捕捉服装。根据标记原理将它们“缝制”，即使用传感器记录运动。在这种情况下，加速度计与智能手机中的加速度计大致相同。它比多部相机便宜得多。
当我们比较他们的数据时，我们注意到他们脚部平衡的一个显着差异。
垂直轴是支撑物的阻力[N]，水平轴是时间[S]。与有经验的工人相比，由于年轻工人的重心更集中在前腿上，因此他的蓝色和绿色曲线之间有很大的差距。（左手是年轻的工人冈部，右手是老师松井，因此图中的线是相反的。）资料来源：东芝
事实证明，年轻工人的重心向前移动很大，而不是与经验丰富的专家一样。因此，参赛者在处理文件时会很快感到疲倦，并且因此发生了婚姻。Okabe意识到自己的错误，因此能够提高文件质量。他在日本全国职业锦标赛上获得铜牌。也许我们的后代会从松井档案的工作记录中学习。我们还可以为他们保存另一种消失的艺术-跳舞。
: ?
每个人都可能听说过联合国教科文组织《世界遗产名录》，其中包括1000多个人类力求保存并传给后代的自然和人造遗址。在2000年代初期，许多人想到了如何保存不是由人手工建造，也不是由自然创造的东西-唱歌，仪式，文艺表演，手工艺品。这就是非物质文化遗产（ICH）概念的出现方式，该概念自2003年以来也得到了积累和保存。运动捕捉技术有助于保留ICH的主要对象之一-跳舞。
世界各地的一些项目正在数字化世界各国人民的舞蹈（Whoedance，i-Treasures，AniAge等）。最常见的是，在录制舞蹈时，使用主动和被动传感器，这些传感器放置在舞者的身体上。
具有主动传感器的运动捕捉系统使用发光的LED。例如，Phasespace Impulse X2运动捕捉系统由八个能够使用调制LED捕捉运动的摄像机组成。舞者穿上带有38个传感器和有源LED的套装，开始跳舞。
WholoDance项目尝试将Microsoft HoloLens集成为可视化工具。将数据从Autodesk MotionBuilder无线流传输到头戴式耳机，使舞者和编舞者可以实时查看全息图。来源：Jasper Brekelmans / YouTube
在被动捕获系统中，传感器不会发出信号，而只会使用制作西装的特殊材料来反射信号。这项技术为舞者提供了更大的动作自由度，使他可以做出剧烈的动作，表演杂技元素，同时又不会降低固定的准确性和速度。现在，随着舞蹈演员的模仿和服装参与到舞蹈中，科学家们希望将运动捕捉标记技术和3D拍摄相结合。
相较于舞蹈，类似的动作捕捉技术可用于进行更简单的体育锻炼-用于步态分析。
向步态学习：步态研究如何帮助医生？
步态可以告诉很多有关一个人的健康的信息。宾夕法尼亚州立大学的蒂莫西·尼尔（Timothy Niiler）知道这一点-他使用运动捕捉技术收集了世界上最大的人体步态集合。他邀请18至65岁的人在12个高速摄像头下走入他的实验室。尼尔（Neiler）将大约40个反射传感器附着到研究参与者的身体上。因此，形成了步态数据库，随后由医生使用。首先，对正常步态的了解为识别成年人中几乎发生的任何骨科问题提供了基础。例如，如果需要测量髋关节或膝关节置换术的有效性，医生可以“记录”患者的步态并将其与数据库中的平均步态参数进行比较。
? 1/3 . 1/3 . : 2/3 . 2/3 . : Motion Analysis
运动分析系统已经直接用于医疗中心，例如GaitTrack。使用该技术，医生可以计算和概括行走或跑步时的基本生物力学参数，及早诊断关节疾病并检测可能受伤的风险。教练和运动员以类似方式使用动作捕捉。
更快，更高，更好：动作捕捉如何帮助篮球运动员？
运动捕捉广泛用于运动中。通过分析玩家的行为，您可以识别他们的错误或测试各种设备。 Keith Pamment是由轮椅使用者组成的篮球队的首席教练。他还是一名工程师，一直想知道动作捕捉如何改善篮球队的表现。尤其是，感知神经元运动捕捉系统有助于为残疾篮球运动员找到最有效的轮椅。穿着服装的运动员冲刺，操纵，运球和一对一，同时在六种不同类型的椅子之间交替进行，同时教练员使用16个摄像机实时研究了动画的运动。
动画运动员的化身与轮椅的3D模型集成在一起。资料来源：火箭科学CIC / YouTube
在研究运动员训练的一天中，基思根据运动员的技能，强项，弱项，运动和比赛技巧为其团队制定了运动椅技术标准。现在，教练正在为与同一位运动员一起工作的同事准备一门完整的课程。
因此，目前，由于它们的相对“青年”，因此技术上的局限性，运动捕捉技术被用于人类活动的“小众”领域。但是随着机器人技术，机器学习以及增强和虚拟现实技术的发展，它们的应用领域将会扩大。
下一步是什么：机器人化身，传送和虚拟现实
机器人变得越来越敏捷，更快和更聪明，这意味着人们将越来越多地将机器人发送到他们不想去的地方。但是，如今，在用于汽车遥控的接口中，主要使用操纵杆或外骨骼。这样的装置并不总是有效的，其主要缺点是，它们以一种或另一种方式干扰或使远程控制机器人的人自身的动作复杂化。光学运动捕捉技术可以解决这个问题。
2018年，来自英国和意大利的一群科学家设法通过动作捕捉制服了一个名为Centauro的机器人，以应对一个脆弱女孩的动作。为此，他们使用了便宜的ASUS Xtion PRO运动识别系统，该系统包含红外传感器和彩色图像识别（RGB）功能。她负责动作捕捉。接收到的信息由OpenPose处理，OpenPose是一种基于机器学习的算法，能够使用来自RGB相机的2D图像实时检测（8-10 Hz）人体运动。从系统中获得的人体关节和四肢的三维坐标经过过滤后，将被传输以控制Centauro机器人。
3D- , . : Dimitrios Kanoulas / YouTube
当然，虽然半人马座无法用突击步枪武装并转移到经验丰富的海军陆战队的控制下，但将来有可能创建这种系统。早在2012年，美国国防部的国防高级研究计划局（DARPA）宣布了一个以意想不到的名称“阿凡达”命名的项目，其中包括“接口和算法的开发，使士兵能够有效地与两条腿上的半自动机配合使用（双脚踏板）作为士兵的代用品。”显然，这样的系统实际上将使机器人具有经验丰富且训练有素的士兵的技能成为可能，同时由于远程控制，它可以在最困难的操作环境中存活。然后没有报道研究的进展。
2018年，XPrize基金会宣布创建ANA Avatar XPrize机器人化身的竞赛，然后选择了77个团队在2020年底展示其化身机器人的开发。根据竞赛条款，开发人员必须在运动捕捉，敏感技术，AR和VR领域组合解决方案。最终目标是耗资500万美元，是一个使操作员可以在远程环境中看到，听到，移动和执行各种任务的系统。
化身应具有三种操作模式：
- 完全控制模式：机器人仅执行人工命令；
- 高级：独立解决一些任务，例如环境分析或绘图；
- 半自治：独立决策。
实际上，我们所说的是人的“传送”，它具有在机器人控制点处出现的效果。将来，这些技术将允许在对人类不利的环境中对拟人化机器人进行远程控制：在火山口，外太空，自然灾害地区或战争中。在2020年，我们将看到第一个进展，在2021年，我们将找出谁是最好的，并获得500万美元用于进一步研究。