人工智能之父杰夫·欣顿(Jeff Hinton):“深度学习可以做任何事情”

预期将开始“机器学习专业+深度学习”课程的新流派,我们正在与您分享《麻省理工学院技术评论》访谈的译者Jeffrey Hinton教授,他在2012年与他的学生一起赢得了ImageNet,应用了深度学习,因此在竞争中取得了令人难以置信的领先优势...一次,他的观点与大多数人的观点相反。现在一切都不同了。教授如何看待人工智能的发展以及各种实现方法?关于这个削减。








现代人工智能革命始于谨慎的研究竞赛。这发生在2012年,即ImageNet竞赛的第三年。团队面临的挑战是建立一个解决方案,以识别从动物和人到风景的一千幅图像。



在头两年,顶级团队的准确率未超过75%。第三年,一个研究团队-一位教授和他的学生-突然突破了这个上限。他们以惊人的10.8%赢得比赛。这位教授的名字叫Jeffrey Hinton,他的方法是深度学习。



欣顿(Hinton)自1980年代以来一直从事深度学习,但是由于缺乏数据和计算能力,效率受到了限制。他对这种方法的坚定信念最终带来了丰厚的回报。在比赛的第四年,几乎每个团队都应用了深度学习,从而获得了奇迹般的准确性。不久,深度学习开始应用于各个行业,而不仅仅是图像识别任务。



去年,Hinton与人工智能先驱Jan Lecun和Joshua Bengio一起被授予图灵奖,以表彰他在科学领域的基础性贡献。



您认为深度学习足以复制所有人类智能。是什么让您如此自信?



我确实相信深度学习可以完成所有工作,但是我认为必须在概念上有很多突破。例如,2017年,Ashish Vaswani和他的同事引入了可输出表示单词含义的非常好的向量的转换器。这是一个概念上的突破。现在,几乎所有最佳自然语言处理都使用它。我们将需要一系列这样的突破。



如果我们有这样的突破,我们是否可以通过深度学习使人工智能更接近于人类智能?



是。尤其是与您如何获得大量神经活动矢量来实现诸如思考之类的突破有关。但是我们也需要庞大的规模。人脑大约有一百万亿个参数或突触。我们现在称其为具有1750亿个参数的GPT-3这个真正的大模型。这比大脑小一千倍。GPT-3现在可以生成非常可信的文本,但是与大脑相比仍然很小。



当谈到规模时,您是指大型神经网络,数据还是两者兼有?



都。在计算机科学中发生的事情与在人类中发生的事情之间存在不匹配。与收到的数据量相比,人们拥有大量的参数。神经网络以更少的数据和更多的参数表现出令人惊讶的出色表现,但人类却更好。



许多AI专家认为AI理智是一项需要进一步追求的能力。你同意吗?



我同意这是最重要的事情之一。我还认为运动控制非常重要,而深度学习网络如今已经变得越来越好。尤其是,谷歌最近的一些工作表明,可以将精细的运动技能和语音结合起来,使系统可以打开书桌抽屉,取出木块并用自然语言讲述所做的事情。



对于生成出色文本的GPT-3之类的东西,很明显,要生成文本必须了解很多,但并不清楚它能理解多少。但是,当有东西打开抽屉,取出一个积木,然后说:“我刚打开抽屉并取出一个积木”时,很难说它不明白它在做什么。



人工智能专家一直把人的大脑视为灵感的不竭来源,而不同的人工智能方法源于不同的认知科学理论。您是否认为大脑真的是为了了解世界而构筑了世界的图片,还是只是一种有用的思维方式?



在认知科学中,两个思想流派之间长期以来一直存在争论。第一所学校的负责人斯蒂芬·科斯林(Stephen Kosslin)认为,当大脑以视觉图像进行操作时,我们正在谈论像素及其运动。第二所学校更符合传统的人工智能。它的信徒说:“不,不,这是胡说。这些是层次结构描述。头脑具有某种象征性的结构,我们控制这种结构。”



我认为两家学校都犯了同样的错误。Kosslin认为我们在处理像素是因为外部图像是由像素组成的,像素是我们理解的表示形式。第二流派认为,因为我们操纵符号表示并通过符号表示事物,所以它是我们理解的符号表示。我认为这些错误是等效的。大脑内部是神经活动的大载体。



仍然有人相信符号表示是AI的一种方法。



完全正确。我有好朋友,例如赫克托·莱夫斯克(Hector Levesque),他真的相信象征性的方法,并且在这种意义上做得很好。我不同意他的观点,但是象征性的尝试是完全合理的。但是,我认为最终我们意识到符号仅存在于外部世界中,并且我们对大型矢量执行内部运算。



您认为与他人最相反的AI观是什么?



好吧,我的问题是我有这些对立的看法,五年后它们成为了主流。我从1980年代以来的大多数反对观点现在都已被广泛接受。现在很难找到不同意的人。因此,是的,我的反对意见已在某种程度上受到破坏。



谁知道,也许您使用AI的观点和方法也会在地下,并且在几年内将成为行业标准。最主要的是不要停止进度。我们很乐意为您提供特殊的促销代码HABR为您提供帮助,这将使横幅广告上的折扣增加10%。



图片




E









All Articles