John Hopfield, Geoffrey Hinton · 2025-01-17

2024年诺贝尔物理学奖得主John Hopfield和Geoffrey Hinton获奖演讲

摘要

本文记录了2024年诺贝尔物理学奖得主John Hopfield和Geoffrey Hinton在颁奖典礼上的演讲内容。Hopfield以"问题选择"为主题，分享了从凝聚态物理转向神经科学的科研历程，详细阐述了霍普菲尔德模型的灵感来源及其与自旋系统的数学联系。Hinton则深入浅出地解释了霍普菲尔德网络、玻尔兹曼机和受限玻尔兹曼机的工作原理，以及如何利用随机神经元和热平衡概念构建深度学习系统。两位科学家的研究为现代人工智能的发展奠定了坚实基础。

内容框架与概述

演讲从瑞典皇家科学院的开场致辞开始，回顾了诺贝尔奖自1901年以来的历史，强调在充满挑战的2024年，科学发现对人类应对全球危机的重要性。今年的诺贝尔物理学奖表彰了在人工神经网络和机器学习领域的奠基性工作，这些技术已经深刻影响了图像识别、语音识别和医疗应用等多个领域。

John Hopfield的演讲围绕"问题选择"这一主题展开，分享了他从贝尔实验室理论物理小组开始的科研生涯。他强调了跨学科思维在科研中的重要性——从凝聚态物理到生物物理再到神经科学的转变过程。Hopfield详细描述了霍普菲尔德模型的诞生过程：将物理学中自旋系统的数学工具应用于神经科学，用能量函数描述联想记忆的动态行为。他特别指出，1982年发表在PNAS上的简洁论文因其未说明的内容反而扩大了影响力，吸引了众多物理学家和计算机科学家进入该领域。

Geoffrey Hinton的演讲以通俗易懂的方式解释了复杂的技术概念。他从霍普菲尔德网络的基本原理开始，介绍了二元神经元、能量最小化和内容可寻址存储的概念。Hinton重点阐述了玻尔兹曼机的学习算法，包括"清醒阶段"和"睡眠阶段"的机制，以及如何通过随机神经元和热平衡避免局部最优解。尽管玻尔兹曼机因计算速度慢未被广泛应用，但受限玻尔兹曼机和对比散度算法的提出使得这一技术最终实用化，并在2009-2012年间推动了语音识别的革命性突破。

核心概念及解读

霍普菲尔德网络与联想记忆：Hopfield将物理学中自旋系统的数学模型应用于神经科学，提出用能量函数描述神经网络的动态行为。网络中的每个状态对应一个能量值，系统通过局部更新规则自动收敛到能量最小值，从而实现内容可寻址的联想记忆——即使输入部分信息也能恢复完整记忆。这种对称连接的二元网络为理解大脑记忆机制提供了物理学的定量框架。

玻尔兹曼机与随机学习：Hinton引入随机神经元概念，使系统能够跳出局部最优解。玻尔兹曼机的学习算法包含两个阶段：清醒阶段将图像钳制在可见单元并增加同时激活神经元间的连接权重，睡眠阶段让网络"做梦"并减少梦中同时激活的权重。这一简单而优雅的算法使网络能够自动学习数据的潜在特征，无需手工设计连接。

热平衡与概率分布：不同于确定性系统的稳定状态，随机神经网络在热平衡时稳定的是构型的概率分布——玻尔兹曼分布。在这个分布中，低能量构型（好的解释）比高能量构型更有可能出现。通过将大量相同网络的系综进行并行更新并观察比例变化，可以直观理解这一统计物理概念在机器学习中的应用。

受限玻尔兹曼机与对比散度：为解决玻尔兹曼机计算速度慢的问题，Hinton提出了限制隐藏神经元之间连接的架构，并开发了对比散度算法：只需将数据向上传递到隐藏层，再向下重构，再次向上传递即可。这个"偷懒"的捷径在实践中效果出色，使得玻尔兹曼机最终在Netflix推荐比赛和语音识别等领域得到实际应用。

深度预训练与特征层次：通过堆叠多个RBM，可以构建深层网络。每一层RBM学习前一层隐藏特征之间的相关性，形成越来越抽象的特征检测器。这种无监督预训练方法大幅提高了后续监督学习的速度和泛化能力，被认为是深度学习突破的关键技术之一，尽管后来被其他初始化方法取代，但作为"历史酶"开启了深度神经网络的新时代。