机器之心编辑部
两位获奖者将平分 1100 万瑞典克朗(约合 745 万元公民币)奖金。
北京韶光 10 月 8 日下午,瑞典皇家科学院宣告将 2024 年诺贝尔物理学奖付与 John J. Hopfield 和 Geoffrey E. Hinton,「以表彰他们在利用人工神经网络实现机器学习方面奠基性创造和发明」。
诺贝尔奖评奖委员会表示:「今年的物理学奖得主的打破建立在物理科学的根本上。他们为我们展示了一种全新的办法,让我们能够利用打算机来帮助和辅导我们,应对社会面临的许多寻衅。」
委员会在宣告获奖时同时指出,机器学习「长期以来一贯对科学研究至关主要,包括对大量数据的分类和剖析……John Hopfield 和 Geoffrey Hinton 利用物理学工具,构建了有助于为当今强大的机器学习奠定根本的方法。基于人工神经网络的机器学习目前正在彻底改变科学、工程和日常生活。」
Geoffrey Hinton
Geoffrey Hinton 出生于 1947 年,二战后的英国温布尔登。他是逻辑学家 George Boole 的曾曾孙,George Boole 的事情布尔代数(Boolean algebra)是当代打算机科学的根本之一。Geoffrey Hinton 的父亲是英国昆虫学家 Howard Hinton,叔叔是著名经济学家 Colin Clark,国民生产总值(GDP)这个术语的提出者。
1978 年,Geoffrey Hinton 在爱丁堡得到人工智能博士学位。在卡内基梅隆大学任教五年后,他成为加拿大高档研究院的研究员,并进入多伦多大学打算机科学系任教,现为该系名誉教授。他于 2013 年 3 月加入谷歌,Vector 研究所的首席科学顾问。
Geoffrey Hinton 是英国皇家学会会士,也是美国国家工程学院和美国艺术与科学学院的外籍会员。他生平得到过诸多奖项,包括大卫・鲁梅尔哈特奖、 IJCAI 卓越研究奖、 基廉工程奖(有「加拿大诺贝尔奖」之称的国家最高科学奖)、 IEEE Frank Rosenblatt 奖、 NSERC Herzberg 金奖、 IEEE 詹姆斯・克拉克・麦克斯韦金奖、 NEC C&C 奖、本田奖和图灵奖。
研究贡献
1986 年,Geoffrey Hinton 与 David Rumelhart、Ronald J. Williams 一起揭橥的论文先容了用于演习多层神经网络的反向传播算法。实验表明,这样的网络可以学习有用的数据内部表征。
论文链接:https://www.nature.com/articles/323533a0
不过,Hinton 认为自己不可担当「反向传播之父」这个称号。在 2018 年的一次采访中,Hinton 表示「 David E. Rumelhart 提出了反向传播的基本思想,以是这是他的发明。」
追溯起来,学界普遍认可当代反向传播算法在 1970 年由芬兰硕士生 Seppo Linnainmaa 首次揭橥, Paul Werbos 在 1974 年提出用它来演习神经网络。只管 Geoffrey Hinton 并不是第一个提出这种方法的人,但他对推广反向传播起到了很主要的浸染,也是第一个利用反向传播学习词嵌入的人。他对神经网络研究的其他贡献包括玻尔兹曼机器、分布式表示、时滞神经网络、专家稠浊、变分学习和深度学习。
2012 年,Geoffrey Hinton 在多伦多带领的研究小组实现了深度学习的重大打破,彻底改变了语音识别和目标分类。他与学生 Alex Krizhevsk、Ilya Sutskever 互助设计的卷积神经网络「Alexnet」以远超第二名的成绩在 ImageNet 2012 寻衅赛夺冠,将 ImageNet 数据集上的视觉识别缺点率降到了 15.3%,仅有此前的一半。这成为了打算机视觉领域的里程碑事宜。
2015 年,为了纪念人工智能 60 周年,深度学习三巨子 Yann LeCun、Yoshua Bengio、Geoffrey Hinton 在 Nature 上揭橥了综述论文《Deep learning》:
论文链接:https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf
卷积神经网络得到了巨大的成功,但也并不适宜所有的任务。2017 年 10 月和 11 月,Hinton 揭橥了两篇关于胶囊神经网络主题的研究论文,提出了胶囊网络 (CapsNet) 作为 CNN 模型的替代。胶囊是深度学习的新观点,与 CNN 和传统的网络神经网络比较,它产生了不错的效果。CNN 分类器在对抗滋扰数据时并不稳健,而胶囊网络被证明对不良数据的适应力更强,而且还能适应输入数据的仿射变换。
2018 年,Hinton 与 Yann LeCun 和 Yoshua Bengio 一起得到了 2018 年图灵奖,以表彰他们使深度神经网络成为打算的关键组成部分的观点和工程打破。
在几十年的研究生涯中,Hinton 称得上「桃李满天下」。他曾培养的有名学者包括:Peter Dayan、Sam Roweis、Richard Zemel、Brendan Frey、Radford M. Neal、Ruslan Salakhutdinov、Ilya Sutskever、Yann LeCun 和 Zoubin Ghahramani。
John Joseph Hopfield
约翰・约瑟夫・霍普菲尔德(John Joseph Hopfield)是一位美国物理学家,生动于生物物理学和统计物理学领域。他于 1982 年提出的 Hopfield 网络是神经网络领域的经典模型。霍普菲尔德为该模型引入了精确的二值神经元和能量函数的观点,这是一种特殊自关联网络,能够存储和搜索影象。Hopfield 网络被广泛用于办理组合优化问题、图像识别等任务,特殊是在自遐想存储和优化问题。
霍普菲尔德的神经网络模型开启了人们对大脑打算过程的研究,推动了打算神经科学的发展。他的神经理论阐明了大规模处理如何在存储网络中实现稳定的影象,启示了后来的深度学习研究。
霍普菲尔德 1933 年 7 月 15 日出生。在发展过程中,他表现出了对科学的兴趣,尤其是物理和数学。他得到了斯沃斯莫尔学院的学士学位,并于 1958 年在康奈尔大学得到物理学博士学位。在求学过程中,他对物理学的多个领域产生了浓厚的兴趣,这为他后来的跨学科研究奠定了坚实的根本。
霍普菲尔德的职业生涯足迹,涵盖了多个物理学、生物物理学和神经科学领域。他曾在多个顶尖学府任教和研究,包括普林斯顿大学、加州理工学院以及斯坦福大学。
霍普菲尔德从前紧张研究固体物理,特殊是光学性子和半导体材料。在 20 世纪 70 年代,霍普菲尔德转向生物物理学,提出了许多有助于理解生物分子的理论。最紧张的是与雅克・尼尼奥同时引入了分子生物学校对的观点。