DeepMind Ontol:世界人工智能领导者

图片




DeepMind的科学家为希望将生活与AI和机器学习联系起来的人编制了一份教育材料策划资源清单。我称这样的选择为“ ontol”-列出在给定问题上构成世界图像的列表,按重要性排序,并由活着的人(由负责此列表的专家组成)汇编而成(这样就可以避免营销和偏颇的胡说八道)。



按计划,如果AI领域的前十家公司要求其领先的专家(每家)选择构成他们的最佳材料作为专家,那么我们将获得一系列馆藏(排名前10/100的资源列表+编译器名称),并基于此,将会得出有趣的结论(a)关于材料的质量,首先应该讲授b)关于可以突出主要内容的专家的质量c)其他)。这就是我们将“标记”人工智能领域中所有打开的文本/视频的方式。然后,我们将讨论其他主题:食物,信任,生活工作,家庭,合作,认知扭曲等等-构成世界图画的是什么。



测试原型beta.ontol.org并订阅@Ontol频道



目录





Safety



Neuroscience

Natural Language Processing

Machine Learning

Deep Learning

Reinforcement Learning

Unsupervised Learning and Generative Models







21公平及其政治的定义(视频)-Arvind Narayanan讨论了正义及其对社会的妥协的各种定义。



公平与机器学习书(书籍,视频)-机器学习主题中的公平概述。



哈佛大学的正义课程(视频)-关于正义与道德哲学的深入且引人入胜的演讲(翻译)。



关于机器学习公平的NeurIPS 2017教程(视频)-Solon Barokaz和Moritz Hardt详细讨论了机器学习公平的社会技术要素。



偏差的困扰-NeurIPS 2017 (视频)-Keith Crawford讨论了人工智能系统中偏见的种族含义。



安全



AGI安全文献评论(出版物)-直到2018年,有关通用人工智能安全文献的出色综述,其中有数百篇参考文献可供进一步研究。



Rohin Shah撰写的AI Alignment通讯 -每周简讯,总结有关AI安全的最新工作。



Robert MIles的AI安全YouTube频道(视频)-具有教育意义和娱乐性的视频,向观众介绍了通用人工智能安全的关键概念。



AI安全性的具体问题(出版物)-关于人工智能安全性的有用概述,原著和文章已经成为AI安全领域的经典之作。



与人类兼容:人工智能与控制问题,作者:Stuart Russell(本书)-一本必读的关于人工智能安全性的书,作者为原始AI。



理论与基本概念



3Blue1Brown Youtube频道(视频)-优秀的教程系列。在线性代数和神经网络上从头开始的视频特别有用。



线性代数的2020年愿景(Gilbert Strang,麻省理工学院)(视频)-从一个新的角度简要概述整个线性代数课程,并附上技术细节:线性代数如何在现实生活中应用,尤其是在机器学习领域。



Ng的机器学习课程(在线课程)-第一门非常实用且广泛的机器学习课程。由于该课程是在Coursera上进行的,因此您的作业可以评分,助手和其他学习者可以为您提供课程材料的帮助。



统计中的因果推论:入门(在线预印本)-因果推理的绝佳介绍。这是最新书的完整版的预印本。



因果推断:如果(在线书籍)-关于因果推断的新书。



David MacKay,信息论课程视频(视频)-涵盖McKay公司风格讲座中的广泛领域。



David MacKay的信息论,模式识别和神经网络课程(视频)-传奇人物David McKay的信息论,模式发现和神经网络课程。



统计因果关系的决策理论基础(在线文章)-制定因果推导运算​​的另一种方法。



深贝叶斯暑期学校讲座和实验室资料(视频)-关于概率建模和贝叶斯学习的讲座和实践练习。



因果推理的要素:基础和学习算法(在线书)-本书以简单易懂的方式向读者介绍因果推理。



线性代数的本质(3blue1brown)(视频)-在不涉及技术细节的情况下,可以很好地理解线性代数的关键思想。随附传统的线性代数教科书或大学课程。



Francis Bach的博客(blog)-有用的技巧和窍门,深入分析了各种机器学习概念。



人工智能企业课程课程材料)-人工智能历史。



拓扑抽象数学是否适用于现实世界?(视频)-简介是对拓扑基础知识的出色描述。该研讨会令人信服地描述了特定的应用。



KhanAcademy课程(视频)-对统计学,概率论,数学的初学者进行了出色的介绍,这是理解机器学习所必需的。



从数据课程中学习 -Caltech(视频)-机器学习的完整介绍。对主题的解释非常清楚。



蒙特卡洛讲义 -蒙特卡洛方法的简要说明。



机器学习数学(书)-一本很好的书,涵盖了机器学习所需的基本数学概念。



麻省理工学院机器学习课程(在线课程)-在深度学习和许多抽象层次成为主流之前,关于机器学习的基础知识(以及现在的历史)的2006年极佳课程。



Nando de Freitas机器学习课程(视频)-有用的机器学习课程和演示。



普林斯顿数学指南(书)-可能是现有的最惊人的数学资料。该书详细概述了现代数学中最重要的概念,但并不意味着以“就寝故事”自称为格式的任何背景-引人入胜,易于理解和直观。



欧拉计划(问题解决社区)-一系列复杂的数学问题和计算机科学激活大脑的问题。它们非常有趣,而且所获得的知识将对您在深度学习领域的职业有所帮助。



统计学习理论课程(在线课程)-Hasti和Tibshirani教授开设了针对机器学习基础的免费课程,针对受过数学教育的人们。



在1课中扼杀线性代数的所有关键思想(视频)-简明扼要,全面。



《为什么》(本书的章节)-因果结论的简单介绍和对其发展的历史洞察。



神经科学



受大脑启发的播客 -融合了神经科学和人工智能的播客。



脑心+机器中心暑期班讲座(视频)-著名的伍兹霍尔暑期班关于计算*认知*神经科学的讲座(更多关于高级认知,行为和与机器学习的联系)。



纽约大学的计算认知建模(幻灯片和文本)-建模人类认知的计算方法的概述,与人工智能和机器学习密切相关。



新皮质的计算模型(课堂笔记)-跨学科和前沿。



计算神经科学伍兹霍尔暑期学校方法讲座(视频)-著名的伍兹霍尔暑期学校关于神经生物学的计算*系统*的演讲(有关大脑的循环和系统特性的更多信息)



马尔的分析水平(《视觉》,1982年,第1章)(该书的章节)-通过实例举例完美地解释EM等有用的算法。作为Bishop的书的绝佳补充。



麻省理工学院的大脑,思维和机器暑期课程(视频)-认知科学,神经生物学和人工智能相交的毕业课程。



认知概率模型(交互式教程)-交互式教程,描述了使用概率模型创建和建模类似人类的行为。



理解大脑的挑战:2015年我们的立场(出版物)-从生物学方面很好地概述了神经生物学。



理论神经科学(在线书籍)-理论神经科学的流行介绍。



自然语言处理



代码优先的自然语言处理简介(视频)-为具有技术背景的人们介绍自然语言处理。



自然语言处理的神经网络模型入门(出版)-神经网络在自然语言处理中的使用方式的清晰概述。



CS224n:带深度学习的自然语言处理(视频)-斯坦福大学现代自然语言处理课程。



NLP进度(数据集和结果列表)-一个社区驱动的网站,列出了自然语言处理中的大量任务,数据集和最新结果。



牛津/ DM NLP课程2017(授课课程)-DeepMinders在牛津大学开设的高级自然语言文本处理授课课程。



语音和语言处理(书)-有关自然语言处理的权威性参考-现在为3D版本,可在线获得。



带注释的变形器(博客文章)-很好地介绍了自然语言处理的主导模型。



机器学习



Amii的Coursera机器学习:现实世界专业化中的算法(在线课程)-关于机器学习问题及其解决方案的形成和识别的出色概述。



贝叶斯推理和机器学习(在线书籍)-概率推理和建模的基础。



David MacKay,《高斯过程基础》(视频)-对高斯过程的最容易理解和最直接的介绍。



David MacKay的书“信息理论,推理和学习算法”(书)-David MacKay提出了关于信息论,推理和学习之间关系的独特观点。他的写作风格独特,书中的幽默也独树一帜。



进入机器学习(博客)-一个面向想要进行机器学习的人的博客。



关于机器学习的讲义-Herbert Yager关于机器学习的讲义。描述了机器学习主题的许多基础知识和标准。写得很好(几乎像一本书)。



UBC 2012上的机器学习(视频)-不列颠哥伦比亚大学的2012年机器学习课程。



机器学习,概率和图形模型(Sam Roweis)(视频)-传奇的Sam Roweis对图形模型的很好解释。



ML在线课程排名(资源列表)-顶级在线机器学习课程的相当全面的概述。



斯坦福大学的机器学习课程(视频)-机器学习课程的简介。



周日经典(资源清单)-机器学习,认知科学,统计学,信息论,神经生物学,人工智能,信号处理,运筹学,计量经济学等所有主题的经典著作的集合



。WEKA:机器学习的工作台(在线资源)-大量免费软件工具,用于熟悉数据,数据可视化,分类,回归,特征选择和数据科学基础。我经常使用这些资源来教其他人看数据中的模式,并欣赏系统可以看到并使用这些以及更复杂的模式的程度。



David MacKay,所有视频讲座 (视频)-David McKay的名字在该领域众所周知,尤其是在统计和概率机器学习中。



深度学习



Andrej Karpathy博客/黑客指南(博客文章)-神经网络的入门指南。同样在他的博客上,您可以找到适用于生活的实用技巧。



梯度下降优化算法概述(博客文章)-全面介绍了用于优化神经网络的梯度下降优化的主要选项



Chris Olah博客(博客)-Chris Olah的方法对于学习关键概念(例如理解概念)可以说是非常有教育意义的和元素)深入研究机器学习。克里斯对教育充满热情,并撰写了出色的文章。



速成课程AI(视频)-精心准备的有用入门系列。可能最适合小学生和初学者。



CS231:视觉识别的卷积神经网络(斯坦福大学)(视频)-链接上的精彩注释:cs231n.github.io Andrew Eun课程的不错延续,这使我们更深入地研究了卷积神经网络(在上一课程的最后已简要提及)并介绍了更高级的概念,例如生成模型,深度强化。



CS231n:用于视觉识别的卷积神经网络(斯坦福传奇的CNN讲座)(视频)-经典和最早的卷积神经网络工作的出色概述,它们构成了



牛津2005深度学习视觉数据大部分工作的基础(视频)-2015年牛津大学深度学习课程。



深度学习书 -该领域的一些先驱者对深度学习的基础进行了广泛的介绍。



深度学习Indaba实用程序(Colabs)-多年来,已经在人类中开发和测试了一些教程,以将深度学习从基础知识教授到高级主题,例如建立自动差异化框架或学习生成的对抗网络。



深入学习深度学习(书)-一种很好的格式,使学习关键机器学习概念变得有趣而互动。



带有UCL的DL + RL课程(视频)-本课程涵盖了许多与深度学习和强化学习有关的问题。它由两条路径(大多数是分开的)组成,一条在深度学习中,一条在强化学习中,可以单独研究。



EEML(第一 / 第二版)实验材料(Colabs) -讲座和概率模型和贝叶斯学习研讨会。



演讲中的EEML幻灯片(幻灯片)-去年EEML演讲的幻灯片(不幸的是,没有条目)。从介绍到更复杂的演示,它们涵盖了广泛的材料。



全栈深度学习(在线课程)-深度学习模型并非凭空存在的。本课程涵盖深度学习的实践方面,例如实施模型,基础结构,调试,甚至为深度学习面试做准备。



在利沃夫研讨会()(讲座)上介绍机器学习讲座-机器学习简介。它介绍了可以建立深度学习机制的基础理论。



Khipu视频和实用程序 + github(视频+幻灯片)-Khipu的材料-视频和实用程序供学生通过。



翁丽莲的博客(博客)-Lillian的博客包含有关各种主题的帖子,这些主题包括教学课程,自我控制学习,元学习等。帖子本身并不太详细,有时过分深入研究专业知识,但通常会用发布原始帖子后出现的新信息对它们进行更新。



MIT 6.S191深度学习入门(视频和教程)-MIT深度学习和信息系统入门课程。



在线期刊 -同行评审的在线期刊,使您可以创建信息丰富的可视化和代码,包括促进对研究论文的理解并提高透明度和可重复性。



并行分布式处理(在线书籍)-对于即使在“连接主义”之时也想了解深度学习的根源的人来说,这是经典之作。



面向程序员的实用深度学习(在线课程)-其他技术专业知识(例如物理学和数学)的朋友推荐的深度学习的极佳入门。



斯坦福大学NLP深度学习课程(在线课程)-对于希望开始学习自然语言处理的任何人都非常有用。



Sutton和Barto的强化学习(教程)-这是所有强化学习教程的教程。从最基本的内容到高级主题,它都有很多。伴随着大卫·西尔弗(David Silver)的演讲。



强化学习



艾伯塔省RL 4门课程专业化(在线课程)-四个连续的强化学习课程,范围从土匪到功能近似(NNs),梯度法和平均奖励。



CS330:金属学习和多任务(视频)-概述了元训练和多任务领域中的最新工作。一个鼓舞人心且非常有用的视频,用于跟上该领域的现代想法。



戴维·希尔弗(David Silver),强化学习简介(视频)-非常适合从萨顿和巴托(Sutton&Barto)的教科书中汲取想法:我们为什么要考虑这些问题?我们讨论过的想法之间有什么关系?等等



UCL的David Silver的RL课程(视频)-对于希望学习强化学习的人很有用。



Emma Brunskill RL课程(视频)-Emma Brunskill的斯坦福课程的强化学习视频讲座。



OpenAI博客(博客)-基本和高级强化学习算法的经济实惠的演示。



强化学习:入门(2018版)(书籍)-这是一本有关强化学习的入门书。 Rich完美地解释了强化学习的基本概念,并与读者一路同行,进行高级开放式研究任务。



UofA / Amii Coursera RL白化和白化规范(在线课程)-艾伯塔大学项目-强化学习研究中心。亚当·怀特(Adam White)与“深切心灵”相关 精心设计的整体课程系列,为强化学习提供了最重要的基础。



Spinning Up Deep RL(代码)-OpenAI创建的教育资源,使学习深度强化学习变得容易。



无监督学习和生成模型



斯坦福大学的Ermon图形模型课程(大纲)-涵盖了多种概率方法。



如何有效使用t-SNE(交互式教程)-这是使用tSNE的所有陷阱的交互式且深入的旅程,它已成为最常用的低维数据附件之一。



Mathematicalmonk Youtube视频(视频)-使用诸如EM之类的有用算法示例的精彩说明。对Bishop的书来说是一个很大的补充。



机器学习中的蒙特卡洛梯度估计(出版)-对进行强化学习或生成建模的人有用。



在机器学习中再现内核希尔伯特空间(课程资料)-不仅适用于对生成建模感兴趣的人。



统计学家的变数推论(David Blei)(后)-生成模型中变数方法的最佳解释。



其他



Metaobuchenie

切尔西(Finn)的“多任务”和“元学习课程”(视频)-有关多任务和元学习的视频讲座。古德曼



哲学

(1955)。归纳法新谜语。(摘自本书)归纳偏见的哲学前提以及为什么很难下结论和引言。



科学

Lex Fridman的AI播客(视频)-与多样化且令人印象深刻的嘉宾演讲者进行的对话。



Leonard Susskind的斯坦福物理学讲座系列(视频)-一个很好的资源,可用于研究现代物理学的许多重要领域,包括经典,统计和量子力学。这些讲座涉及的背景知识并不多,伦纳德可以以一种易于理解且引人入胜的方式介绍和解释复杂的想法。



计算机科学

Mike Bostock交互式可视化-Mike Bostock的交互式可视化。



高维概率 -关于“在概率论,分析和几何学的交叉点上出现的思想,这些思想出现在各个领域的各种当代问题中”。



机器人技术

Strogatz非线性动力学课程(视频)-非线性动力学视频课程。



感谢Ale Blankmer的翻译帮助。



图片



通过完成SkillFactory付费在线课程,了解如何从头开始或成为技能和薪资水平升级的热门职业的详细信息:











All Articles