克里斯·安德森（Chris Anderson）：尼克·博斯特罗姆（Nick Bostrom），您已经与我们分享了您的疯狂想法。我记得几十年前，您曾建议我们将生活在仿真中，或者已经在其中。相对最近，您介绍了通用人工智能如何造成危害的最具说明性的示例。今年，您将要出版一本有关世界上最脆弱的假设的书。今天的问题应该是对此的有插图的指导。开始吧。这些假设是什么？
尼克·博斯特伦（Nick Bostrom）：这是试图理解当前人类状况的结构组成部分。您喜欢the的隐喻，所以我会用它。想象一下一个大的balls，里面装满了代表思想，方法和各种技术的球。可以将人类的所有创造性活动与投入这只骨灰and并从那里拔出小球相提并论。多年来，我们一直仅从中受益，对吗？我们删除了太多白色的球，有些带有灰色阴影，造成了模棱两可的后果。但是我们已经有很长时间没有遇到黑球了，这项技术肯定会摧毁其创造者。这本书包含了黑球里面的版本。
CA：所以您将这个球定义为文明死亡的原因。
注意：直到我们摆脱了我们所说的半无政府状态的标准状态。
CA：您列举了几个反例作为证据。您相信多年来我们很幸运。也许我们在不知不觉中已经把这个死亡球吸引了。另外，您提供报价。这是什么意思？
注意：它仅显示预见基本发现的所有后果有多么困难。我们没有这样的机会。我们已经学到了如何从balls中取出球，但是我们不知道如何将它们退回。也就是说，我们可以发明，反之亦然。作为一项策略，我们只希望the上没有黑球。
CA：有一天我们会把它拿出来的，我们将无法收回它，而您认为到目前为止我们很幸运。请在提到几种漏洞类型的示例中发表评论。
注意：要理解的最简单的类型是可以毫不费力地造成大量破坏的技术。合成生物学可能是这类黑球的丰富来源。地球工程产品也值得考虑。我们可以与全球变暖作斗争，但我们并不需要为自己感到轻松。随便一个人和他的祖母都没有必要从根本上改变地球的气候。或大规模生产用来杀死害虫的致命蚊子般的无人机，纳米技术，通用人工智能。
CA：这本书中有一个疑问，我们很幸运能够发现核能来制造原子弹。也许可以使用所有人可用的较轻资源制造炸弹的情况就是这样。
注意：让我们回到二十世纪30年代，那时我们第一次在核物理上取得了进步。一些杰出的科学家想出了如何产生核链反应，然后将其炸弹炸毁的方法。我们已经做了一些研究。事实证明，要制造出包含大量铀和bomb的原子弹，很难获得这些原子弹，需要超速离心机，反应堆以及大量的能源。我们假设，有一种更简单的方法来释放原子的能量。事实证明，有可能在微波炉中或以更简单的方式从沙子中引起核爆炸。从物理学的观点来看，这是不可能的。但是，在进行此类实验之前，您如何知道会发生什么？
CA：同意，为了地球上生命的正常发展，需要一个稳定的环境。而且，如果有一种更简单的方法来进行大规模核反应，那么地球上就不会存在稳定的环境，我们也不会在这里。
注意：是的，如果有目的而不是自己创造。这就是我们的工作方式。我们可以互相堆叠10个块，但实际上并非如此。
CA：现在让我们谈谈最让我们担心的事情。就目前而言，据我们所预测，合成生物学是实现自我毁灭的最短途径。
注意：试想一下，如果您告诉某人他可以通过在厨房里煮东西来砸烂这座城市，那会是什么样子。很难想象现代文明以其通常的形式如何能够生存下来。因为在数以百万计的任何人口中，有些人出于某种未知的原因而想要使用这种破坏力。而且，如果这个天启的恋人选择摧毁这座城市，或更糟糕的是，这座城市将被摧毁。
CA：还有另一种漏洞。请告诉我们。
注意：除了容易理解的黑球会炸毁他们前进的道路外，其他还会激发人们去做坏事和伤害。也就是说，如果您考虑所谓的2a型，那么这项技术将鼓励世界大国利用其全部军事力量进行破坏。实际上，核武器与之非常接近，对吧？我们的工作：我们已经花费了超过10万亿美元，建造了7万枚核弹头，并使它们处于高度戒备状态。在冷战期间，我们几次处于相互毁灭的边缘。不是因为人们认为浪费10万亿美元的自我毁灭是一个好主意。我们只是在寻找自己，这可能是最糟糕的事实，这激发了人们的兴趣。想象一下，如果第一击没有太大后果，要避免在危机情况下发射所有核导弹将非常困难。否则，因为您担心它将在另一侧完成。
CA：确保相互间的破坏在冷战期间保持稳定。否则我们就不会在这里。
注意：是的，这会使她更加不稳定。这里可能会出现技术的另一面。如果有一些小物品或少见的东西而不是核武器，就很难达成军备协议。
CA：就像世界上有影响力的演员的不良动机一样，您也担心我们每个人在2b型中的不良动机。
注意：是的，最好以全球变暖为例。我们每个人都在日常生活中使用一些现代便利设施，使用这些便利设施不会带来重大后果，对吧？但是，数十亿人正在做同一件事，这对全球变暖的问题可能会变得更糟，现在一起产生了毁灭性影响。有一个影响气候的参数。它显示了当排放一定数量的温室气体时，变暖将增加多少。假设到2100年，此时的温室气体排放量不会仅增加3-4.5度，而是将增加15度甚至20度。也就是说，我们可能会发现自己处于非常不利的地位。假设创建可再生能源非常困难，或者地球上有更多化石燃料
CA：您是在说，如果我们今天所领导的生活方式最终导致可见的10度差异，那么人们已经在大惊小怪了，并为此做点什么。我们可能是愚蠢的，但不是那么愚蠢。但是谁知道。
注意：我不太确定。
还要考虑其他属性。目前，转换为可再生能源等很困难，但有可能。也许使用稍微不同的物理特性，这将更加昂贵。
CA：您怎么看？人类这个拥有所有技术能力的星球是否处于脆弱的位置？未来会不会有死球？
注意：很难说。我认为此可能包含各种黑球。但是，也将有一些黄金会帮助我们对抗黑球。但是我不知道它们会以什么顺序出现。
CA：您的想法与哲学上的想法有点矛盾，后者认为未来是预先确定的和不可避免的，而不管下一个球的颜色如何，在某种程度上，我不想相信这样的未来。我想相信未来不是预先确定的，我们今天做出的决定会影响我们拔出的球的颜色。
注意：我认为，如果我们继续发明，最终将把所有的球都拉出来。有某种形式的技术决定论很弱，这有充分的理由，这意味着您不太可能找到使用硅轴和喷气飞机的社区。可以将技术视为功能包。技术使我们在世界上可以做不同的事情并取得不同的结果。如何使用它们仅取决于我们的选择。但是，如果您考虑这三种类型的漏洞，它们可能会破坏使用它们的想法。让我提醒您，第一种类型的漏洞是巨大的破坏力，并且假设在数百万的人口中，有些人希望将其用于破坏。
CA：最让我担心的是，在这一点上，我们已经以某种方式沉浸在这个骨灰盒中，以至于意识到自己注定要失败。就是说，如果您相信力量的增强，技术的发展，技术的创造将使我们变得更强大，那么在某个时候，您得出的结论是，一个人可以摧毁我们所有人。在这种情况下，我们都完成了。不会打扰您吗？
NB：哦，是的，
我相信...是的，我们正在变得越来越强大，并且使用这种权力变得越来越容易，但是我们也可以发明技术，使我们能够控制KA人对这种权力的使用
：让我们讨论一下。让我们谈谈回应。假设考虑到我们今天拥有的所有可能性，它不仅是合生技术，还包括网络战，人工智能等。 -也许在将来，我们将面临严肃的考虑。会有什么反应？您还提到了这些响应的四种类型。NB
发展的局限性
：如果我们所有人都表示整个技术进步停滞了，那么技术进步发展的局限就不会激发希望。我认为我们既没有愿望也没有能力做到这一点。或者，也许只是想在某些领域放慢技术进步的速度，我认为您不希望生物武器或同位素分离的迅速发展会促进核武器的生产。
CA：我完全同意您的意见，但我想首先关注这一点，因为如果您回顾过去二十年的历史，我们正在全速前进，这只是我们的选择，这很不错，但是如果您关注全球化以及它的快速发展，到“更快移动并打破壁垒”的战略及其已经发展到的目的，再到合成生物学的全部潜力。我不确定我们是否应该在没有任何限制的情况下迅速发展到每个家庭和高中实验室都有DNA打印机的世界，应该有一些限制。
注意：也许第一部分不是最合适的部分。如果人们仍然想停止它，则将存在实现问题。事实上，没有什么会来的，如果一个国家...人口
KA：不仅只有一个人在行动，而且我们已经早些时候缔结了国际协定。因此，我们设法通过开会和漫长的复杂谈判消除了核威胁。我想知道，如果我们不在一个重要问题上走到这里，并尝试讨论有关合成生物研究的严格规则，是否合乎逻辑？这不是您要民主化的吗？
注意：我完全同意。例如，我希望DNA合成器不是要在每个实验室中安装的设备，而是可能是一项服务。假设世界上只有四个或五个地方可以发送电子DNA样本并获得结果。然后，如果有必要，您将有机会获得一组有限的漏洞。我想您会想知道可以严格控制的特殊情况。
CA：基本上，您的意见是，如果我们只是放慢进度，那是行不通的。有人说，在朝鲜某个地方，有人想要从骨灰盒中得到黑球，如果有的话。
注意：在当前环境中，这很有可能。这与合成生物学无关。世界上任何新的重大变化都可能变成黑球。
CA：还有另一个开发选项。
消除危险的人
注意：但是可能性很小。关于第一类漏洞。如果有可能减少对破坏世界感兴趣的人数，并获得武器和资金，那将是很好。
CA：您索要这张幻灯片，其中有面部识别无人机在世界各地飞行。当他们发现有反社会行为迹象的人时，他们会用爱为他们洗礼，可以这么说。
注意：这不是那么简单。清算还意味着例如监禁或破坏，或将他们对生活的看法改变为更正确的看法。关键是，例如，您已经完成任务，将危险人员的数量减少了一半。如果您通过说服进行清算，那么您会遇到影响人的其他强大因素：政党，宗教，教育。如果危险的人数减半。在我看来，风险不会降低50％，而只会降低5％或10％。
CA：您认为我们在第二种选择中没有冒着人类未来的风险吗？
注意：我认为劝阻人们没有错，但是这种方法不能单独提供安全性。
CA：第三种选择是？
注意：我们有两种主要方法可以使我们的世界免受各种可能的漏洞的攻击。但是您可能同时需要两者。首先是高效的警察执法，
全面监视
，拦截能力。如果有人要犯罪，则有可能拦截并制止他。在这种情况下，将需要广泛的监督，我们每个人都将受到监督。
CA：就像少数派报告一样。
注意：人工智能算法，巨大的自由中心等可以帮助我们进行观察。
CA：您知道“全面监视”一词现在不是很流行吗？
注意：这将是一个小型设备，内置多向摄像机，即所谓的扼流圈，需要随时佩戴。为了使它看起来不像是一种负担，我们就称其为“自由的象征”。
CA：好的，朋友，这就是为什么我们的谈话如此精彩。
注意：您实际上可以谈论很长时间，这很明显。我们讨论了风险和挑战，对吗？我们可以回到这一点。第四，
全球治理
稳定的最后机会是缩小政府间的差距。控制将成为微观治理的缺陷，从而阻止某人做非法的事情。当然，在宏级别，全局级别也观察到相同的问题。毫无疑问，将有能力防止全球协调中断，避免大国之间的战争，军备竞赛，灾难的一般性问题，以应对2a型漏洞。
CA：“全球治理”一词现在显然不再流行，但是您可以辩称，在人类历史的过程中，在每个新的发展阶段，技术力量都会增强。人们已经改变并集中了这种力量。例如，当一个漫游的犯罪团伙可能领导一个社会时，答案是您拥有一个民族国家，并且您正在集中力量-警察或军队，而“您不能那样做”。逻辑上也许是，如果一个人或一群人可以摧毁人类，至少在某些方面，我们总有一天会走上这条道路？
注意：显然，在人类历史发展的过程中，政治机构的规模有所增加。首先是一群狩猎者，然后是部落的首领，城邦，国家，现在有了国际组织等。我只想确保我能够在全面监视和全球治理的情况下强调大量负面方面和风险。我只想指出，如果我们幸运的话，世界可能会变成这样，使得上述所有事情只能从黑球中拯救出来。
CA：据我了解，该理论的逻辑是必须理解一切不会立即发生。我们中的许多人始终认为技术永远是好事，这是一种天真的梦想。继续前进，不要停下来，如果可能的话赶紧走，不要去想甚至不会发生的后果。这有可能发生。如果确实如此，我们将不得不接受其他随之而来的情况，并成为军备竞赛的一部分。如果您想拥有力量，最好限制力量，或者弄清楚如何限制力量。
注意：我认为这是一个非常好的选择，从某种意义上说，即使是最简单的选择也可以使用。但这意味着我们很容易受到黑球外观的影响。我认为，通过增加一点协调，如果我们在宏观和微观管理的层面上解决了所有问题，我们将把所有的球从垃圾桶中取出，并获得很多好处。
CA：如果我们进行模拟，那有什么不同？我们刚刚重启。
注意：我不认为它来了。
CA：您怎么看？综上所述，我们注定要失败的可能性有多大？
（问这个问题时，我喜欢别人的笑声。）
NB：从个人的角度来看，随着时间的流逝，我们会随着年龄的增长，衰败以及类似的东西而结束，对吧？
实际上有点复杂。如果要计算我们将结束的可能性，首先，谁是“我们”？如果您很多岁，您可能会自然死亡。如果您还年轻，那么您最多可以拥有100年。概率是个体的。接下来的门槛，就是限制破坏文明的概念。在我的书中，我不认为生存灾难是文明的破坏。这都是定义问题。假设全球将有10亿人丧生或减少50％，但如何定义阈值，您会获得不同程度的概率。我认为您会称呼我为令人恐惧的乐观主义者。
CA：您是一个令人恐惧的乐观主义者，我认为您到现在已经创造了许多自己的受威胁的人。
注意：生活在模拟中。
CA：究竟。Nick Bostrom，您的想法很棒。感谢您将我们吓死。
由Olia Francia翻译，
由Natalia Ost评论
通过参加SkillFactory的付费在线课程，了解如何从头开始或获得技能和薪资水平提高的详细信息：
- 机器学习课程（12周）
- 从头开始培训数据科学专业（12个月）
- 具备任何入门水平的分析专业（9个月）
- 用于Web开发的Python（9个月）