微软的新型飞行模拟器是一项技术奇迹，它为游戏类型设定了新标准。微软和Asobo Studios利用许多合作伙伴的工作，重新创建了一个看起来真实的世界，在正确的位置容纳了数十亿座建筑物。
其中之一是来自格拉茨市的小型奥地利初创公司Blackshark.ai，该公司只有约50名员工，能够使用人工智能和庞大的云计算资源来重现世界上每个城市。
在发布新的模拟飞行器之前，我们会见了Blackshark联合创始人兼首席执行官Michael Patz，讨论了与Microsoft的合作伙伴关系及其公司的未来。
Blackshark是游戏工作室Bongfish的分支机构，该工作室开发了《战车世界：前线》，《疯狂摩托车越野赛》和《 Stoked单板滑雪》系列。 Patz说，这要归功于Stoked公司创建了Blackshark。
“我们在2007年开发的首批游戏之一是名为Stoked和S Stoked Bigger Edition的单板滑雪游戏。这是首批具有360度模拟山脉的游戏：玩家可以乘坐直升飞机在山脉上飞行，降落在任何地方并滑落。该山本身是由程序创建和描述的，还放置了植被，其他滑雪板和小动物形式的障碍物。然后我们继续进行赛车，射手和赛车控制的类型，但不要忘记程序放置和物体描述的想法。
Bongfish在《战车世界》上工作时回到了这个想法，因为用手工放置的每块石头制作巨大的地图会非常缓慢。
利用自己的经验，Bongfish开始建立自己的AI开发部门。该部门使用了一组机器学习技术来构建一个系统，该系统可以学习设计人员如何构建地图，并且随着时间的推移可以自行创建地图。该公司已经在其多个项目中开始使用此系统，此后Microsoft与它联系。
“很偶然地，我遇到了微软公司的人，他们正在寻找一个工作室来帮助他们使用新的Flight Simulator。Patz说：“ Flight Simulator的主要思想是将Bing Maps用作运动场，地图和背景。”
但是Bing Maps的摄影测量数据仅能创建400个城市的精确副本，并且在地球的大部分地区，此类数据都不存在。 Microsoft和Asobo Studios需要一个系统来构建其他所有内容。
那时Blackshark接手了。对于Flight Simulator，该工作室使用2D卫星图像重建了15亿座建筑物。
尽管Patz说他偶然遇到了Microsoft员工，但值得一提的是Graz曾经拥有一个Bing Maps部门，该部门开发了Bing Maps的第一批相机和3D版本。在Google Maps占领市场的同时，Bing Maps在3D方面实际上超过了Google。然后微软在格拉茨开设了一个研究中心，关闭后，亚马逊和其他公司挖走了当地人才。
Patz说：“因此，我们很容易找到需要'屋顶重建博士学位'等职位的人。” “我什至不知道存在这样的事情，但这正是我们所需要的，我们找到了两个这样的人。”
“很容易看出为什么从2D地图重新创建3D建筑具有挑战性。定义建筑物的确切轮廓甚至都不容易。”
“基本上，我们在Flight Simulator中完成了以下任务：我们研究了2D区域，并在其上寻找建筑物的标志，这是计算机视觉的任务，” Patz说。 “但是，如果建筑物被树的阴影所遮盖，则我们需要机器学习，因为阴影覆盖使不清楚建筑物的组成部分是什么……机器学习可以恢复建筑物的其余部分。这是另一个非常简单的例子。”
尽管Blackshark可能还使用了其他一些数据，包括照片，传感器数据和预先存在的地图数据，但Blackshark必须从非常有限的信息中确定建筑物的高度和其他特征。
下一个明显的问题是确定建筑物的高度。如果有GIS数据，则此任务很容易解决，但在世界上大多数地区，此类数据根本不存在或很难获得。在这种情况下，团队拍摄了2D图像并研究了各种线索，例如阴影。但是，要确定建筑物从阴影处的高度，您需要知道一天中的时间，并且不会在Bing Maps中标记图像。在其他情况下，Blackshark拥有它们，从而大大简化了工作。这是机器学习再次得以拯救的地方。
Patz解释说：“机器学习的路径略有不同。” “它还考虑了阴影，但是由于它只是一个黑色的人物，我们不知道它的行为。但是，例如，如果您查看平屋顶，将摩天大楼与购物中心进行比较，则摩天大楼屋顶上的设备与购物中心上的设备不同。因此，通过标记建筑物，我们可以帮助AI学习。”
如果系统知道该区域内购物中心的平均高度通常为3 etaea，则可以使用该值。
Blackshark并没有掩盖其系统会出错，如果您购买了Flight Simulator，则会发现游戏中建筑物的放置存在错误。Patz告诉我，该项目的最大挑战之一就是说服开发合作伙伴和Microsoft允许这种方法。
“我们正在谈论15亿座建筑物。在这种规模下，您将不再依赖传统的质量控制。 Halo级游戏的传统方法是指着手指说“该像素坏了，请修复它”，但是当您使用基于统计的AI进行开发时，它不起作用。事实证明，有20％的建筑物是错误创建的，对于“飞行模拟器”来说可能就是这种情况；但是我们否则无法解决这个问题，因为将15亿座建筑物的模型外包在逻辑上和财务上都是不可能的。”
随着时间的流逝，此系统将不断完善，并且随着Microsoft从Azure流传输大量数据，用户一定会看到这些变化。
但是，标记只是工作室团队训练模型的方式，Blackshark在这方面已经取得了很大进展。 Patz不做详细介绍，因为它是公司秘密技术的一部分，因此，只有50个人的努力就可以进行如此大量的工作。
他说：“数据标签并不是我们合作伙伴的优先事项。” “因此，我们使用了活体标记系统，基本上是用两三个人的力量来标记整个星球。这为数据分析人员提供了非常强大的工具和用户界面。例如，如果分析人员想检测一艘船，他会告诉学习算法什么是船，然后立即在输出处接收在采样图像中找到的船。”
根据输出，分析人员可以训练算法以更好地识别特定对象，在我们的示例中是Flight Simulator中的船舶或购物中心。帕兹说，其他地理空间分析公司倾向于专注于特定领域，而Blackshark的工具与所分析内容的类型无关。
这就是Blackshark广阔视野发挥作用的地方。由于该公司因与Microsoft的合作而受到好评，因此它还与其他正在重塑城市模型（例如自动驾驶模拟）的公司合作。
“我们的更大目标是为我们的星球，尤其是星球表面创建近乎实时的数字孪生。在传统的摄影测量法（如Google Earth或Apple Maps）无济于事的情况下，这将允许以多种不同方式使用数据，因为它简化为叠加在简单几何形状上的照片级别。为此，我们有一个处理循环：我们从航拍图像中提取探索性信息，航拍图像可以是2D图像，甚至是3D点集。之后，我们将语义可视化。”
这种对建筑物进行详细描述的语义相对于摄影测量法具有一个主要优势：实际上，有关阴影和照明的信息被烘焙到照片中，这使得难以现实地叠加不同的照明。由于Blackshark知道她正在创建的建筑物的所有信息，因此她可以将窗户和照明应用于这些建筑物，从而在Flight Simulator中创建令人惊讶的逼真的夜景。
飞行模拟器中未使用的点云是Blackshark当前正在积极追求的另一个领域。人们很难阅读点云，尤其是当您靠近它们时。 Blackshark使用其AI系统分析点云，以确定建筑物中的楼层数。
“我们整个公司的核心是认识到我们需要巨大的技术优势来完成一项任务。对于视频游戏行业来说尤其如此，像刺客信条和GTA这样的大型项目都面临着可能的极限：成千上万的人在上面工作，这项工作很难在各大洲之间扩展和协调，同时也很难将其转化为成品。对我们来说显而易见的是，解决这一任务需要一个更加自动化或部分自动化的过程。”
尽管Blackshark最初是一家游戏公司，现在与Microsoft和Asobo Studios合作，但其主要重点不是游戏，而是自动驾驶和地理数据分析等领域。 Patz指出，这种开发的另一个很好的例子是虚幻引擎，该引擎最初只是一个游戏引擎，现在已被广泛使用。
Patz说：“在游戏行业很长一段时间，这种情况非常鼓舞人心，因为当您开发游戏时，您意识到如何将革命性技术与其他行业进行比较。” “而且，如果您看一下模拟器，从军事到工业，与赛车游戏相比，它们看上去总是la脚。现在是游戏技术走出游戏行业并开始为所有其他行业提供帮助的时候了。我认为Blackshark已成为如何做到这一点的一个例子。”