现代物理知识杂志 · 2025-01-15

神经网络理论研究中的物理学思想与应用

摘要

本文从物理学视角系统阐述神经网络的理论基础，将神经网络视为数据驱动的自适应物理模型。文章从伊辛模型出发，介绍神经网络的基本属性DNA（数据、网络、算法），深入剖析感知机学习的几何景观与解空间结构，探讨无监督学习中的对称性破缺机制，以及非平衡神经动力学的伪势表示方法。最后通过线性回归模型揭示大语言模型示例泛化的物理本质，为理解智能提供物理学洞察。

内容框架与概述

文章开篇指出神经网络在人工智能领域的核心地位，强调物理学思想对神经网络研究的深远影响。作者认为，神经网络本质上是数据驱动的自适应物理模型，其学习过程是在高维权重空间中执行朗之万动力学，服从玻尔兹曼分布。

从伊辛模型这一统计物理标准模型入手，文章建立了自旋系统与神经网络的深刻联系。伊辛模型描述格点上磁矩的集体行为，蕴含相变、自发对称性破缺、普适性等丰富物理图像。神经网络将相互作用强度J作为可训练参数，外场对应偏置，通过定义目标函数和梯度下降算法驱动网络更新，其学习过程可视为在势能函数下的随机游走。

感知机模型的研究揭示了解空间的几何景观。当学习样本数与连接数之比达到临界值α≈0.833时，自由熵消失，学习问题无解。解空间呈现大量孤岛形态，局域算法难以找到解，但存在稀有的稠密解团簇能够吸引高效算法。这一发现近期已被数学家严格证明。

无监督学习建模为受限玻尔兹曼机，学习过程呈现对称性破缺现象。随着数据量增长，学生网络逐步推断教师网络的结构，经历自发对称破缺和置换对称破缺两个阶段，最终实现对隐藏节点内在顺序的区分。

认知动力学层面的非平衡过程可通过伪势表示法研究。定义正则系综分析非平衡神经动力学稳态，发现当相互作用强度达到临界值时，系统经历从有序到混沌的连续相变，响应函数在相变点附近出现峰值，印证了混沌边缘的优越性。

大语言模型的示例泛化能力可归结为两体自旋模型的基态求解。通过线性回归函数类和随机任务向量生成预训练数据，模型参数服从具有两体相互作用的哈密顿量。基态分析显示，即使在有限尺寸网络中仍可获得最优解，任务向量的多样性对预训练效果至关重要。

核心概念及解读

伊辛模型与神经网络：伊辛模型是统计物理的标准模型，描述格点上磁矩的集体行为。其态方程为迭代方程，包含自旋间相互作用J、磁化强度m和外加磁场h。当相互作用较弱时系统处于顺磁态，增大相互作用至临界值时出现铁磁解，此过程称为自发对称性破缺。神经网络可类比为伊辛模型，连接权重对应相互作用，偏置对应外场，学习过程是势能函数下的随机游走，平衡态服从玻尔兹曼分布。

感知机解空间几何：感知机学习问题存在存储容量极限α=P/N≈0.833，超过此临界值问题无解。在可解区域内，解空间呈现大量孤岛形态，导致梯度下降等局域算法难以找到解。解空间中存在稀有的稠密解团簇，这些团簇能够吸引高效经验算法，使其避开孤岛成功收敛。这一几何结构解释了为何某些算法在实际中表现优异。

对称性破缺与无监督学习：无监督学习让机器从原始数据中发现隐藏规律，类似人类婴儿的观察学习过程。通过受限玻尔兹曼机建模，学生网络从教师网络生成的数据中推断连接矩阵。学习过程呈现对称性破缺：初始状态具有完全对称性，随着数据增长，学生首先推断权重相同的部分（自发对称破缺），进而区分权重不同的部分（置换对称破缺），最终实现对隐藏节点内在顺序的认知。

非平衡动力学的伪势表示：认知动力学大多不存在梯度力，但可通过定义伪势函数研究非平衡稳态。对于相互作用矩阵为非厄米随机矩阵的神经元系统，当耦合强度g增至1时触发连续动力学相变，系统从有序走向混沌。序参量为网络神经活动水平的涨落，响应函数在相变点附近出现峰值，验证了混沌边缘在认知功能上的优越性。

大语言模型示例泛化的物理本质：大语言模型的示例泛化能力可通过线性回归模型理解。固定随机任务向量，生成多个随机输入计算标签得到预训练数据。模型参数服从具有两体相互作用的哈密顿量，其基态是示例泛化能力的根源。高斯分布假设下的基态求解显示，有限尺寸网络仍可获得最优解，任务向量多样性对预训练效果起关键作用。