Tversky 神经网络：用心理学启发重塑深度学习的相似性度量

摘要

本文介绍了一种全新的神经网络架构——Tversky 神经网络（Tversky Neural Networks），其核心创新在于用 Tversky 相似性函数替代了传统的点积（dot product）或余弦相似度（cosine similarity）作为神经网络中衡量"相似性"的基本方式。作者通过将心理学中的 Tversky 特征匹配模型（feature matching model）转化为可微分的形式，使其能够与现代深度学习的梯度优化机制兼容。实验表明，这一新方法不仅提升了模型的表现，还带来了更强的可解释性，并在一定程度上印证了心理学理论的有效性。

内容框架与概述

文章首先分析了传统神经网络的相似性假设及其局限。现代深度学习架构普遍使用几何方式度量相似性，如点积或余弦相似度，这种方式虽然计算高效，但与人类的相似性判断存在本质差异。心理学家 Amos Tversky 在 1977 年指出，人类的相似性判断往往是非对称的，而几何模型无法表达这种非对称性。Tversky 提出的"特征匹配模型"认为相似性是对象间共有特征与各自独特特征的函数，但该模型依赖离散集合操作，难以直接应用于需要可微分优化的神经网络。

接下来，作者详细介绍了可微分 Tversky 相似性函数的提出与实现。创新性地将 Tversky 相似性转化为可微分形式，具体做法是将每个对象既视为向量（R^d 维），又视为特征集合（feature set）。特征集合的定义基于对象向量与特征向量的点积为正时，该特征"存在"于该对象中。通过这种方式，传统的集合交集和差集操作被重写为可微分函数。Tversky 相似性函数的公式为 S(a, b) = θf(A ∩ B) − αf(A − B) − βf(B − A)，其中 A、B 分别为对象 a、b 的特征集合，θ、α、β 为可学习参数，f(·) 表示对特征的聚合函数。

然后，文章阐述了 Tversky 神经网络的结构与表达能力。该网络引入了两种新层：Tversky 相似性层和 Tversky 投影层。Tversky 相似性层类似于传统的点积或余弦相似度层，但用 Tversky 相似性函数替代，输出为标量。Tversky 投影层类似于全连接层，输入向量与一组"原型向量"（prototypes）计算 Tversky 相似性，输出为 R^p 维向量。作者证明单个 Tversky 投影层可以拟合非线性 XOR 函数，这证明了其更强的表达能力。

最后，文章展示了实验结果与可解释性分析。在图像识别任务中，在冻结 ResNet-50 的情况下，将输出层替换为 Tversky 投影层，NABirds 数据集准确率从 36.0% 提升到 44.9%，MNIST 从 57.4% 提升到 62.3%。在语言建模任务中，从零训练 GPT-2 small，使用 Tversky 层可同时降低 7.5% 的困惑度，并减少 34.8% 的参数量。更重要的是，Tversky 框架本身即具备可解释性，其基本操作基于"共有特征"和"独特特征"，天然适合解释模型决策。

核心概念及解读

Tversky 特征匹配模型：这是心理学家 Amos Tversky 在 1977 年提出的理论，认为人类的相似性判断不是基于几何距离，而是基于特征匹配。相似性是对象间共有特征与各自独特特征的函数，且这种判断往往是非对称的。例如，“儿子像父亲"比"父亲像儿子"更常见，这是因为儿子的独特特征权重更高。这一理论为重新设计神经网络的相似性度量提供了心理学基础。

可微分集合操作：这是将离散的集合操作（如交集、差集）转化为可微分函数的关键技术创新。作者通过将对象同时表示为向量和特征集合，定义当对象向量与特征向量的点积为正时，该特征"存在"于该对象中。这样，传统的集合操作就可以通过可微分的聚合函数（如 min、max、product、mean 等）来实现，使其与深度学习的梯度优化机制兼容。

原型与特征的双重表示：在 Tversky 神经网络中，每个对象既用原型向量（Π）表示，又用特征向量（Ω）表示。原型向量类似于传统神经网络的权重，而特征向量则定义了特征空间。相似性计算基于对象与原型的特征匹配程度，这种双重表示使得模型能够学习更丰富的表示，并且具有更好的可解释性，因为学到的特征和原型可以直接可视化和理解。

显著性假说：这是 Tversky 心理学理论的核心概念，指显著性低的对象（如"儿子”）更容易被判定为与显著性高的对象（如"父亲"）相似。在 Tversky 神经网络的实验中，作者发现训练后模型普遍学到 α > β，即输入的独特特征权重高于原型的独特特征，这一结果与显著性假说一致，验证了心理学理论在机器学习模型中的有效性。

可解释性优先设计：与传统神经网络"黑盒"特性不同，Tversky 神经网络从设计之初就考虑了可解释性。其基本操作基于"共有特征"和"独特特征"，决策过程可以用人类可理解的语言描述。作者还提出了新的可视化方法，能在输入空间中直接展示模型学到的原型和特征。实验表明，在 MNIST 上，Tversky 层学到的原型和特征对应于可辨识的笔画和曲线，而传统线性层学到的则是难以解释的纹理模式。

原文信息

此文档由 AI 自动整理