Tversky 神经网络：基于可微 Tversky 相似度的心理学合理深度学习
机器学习
2025-10-14 v2 人工智能
计算与语言
计算机视觉与模式识别
摘要
心理学领域的研究强调，深度学习中标准的几何相似度模型在心理学上并不合理，因为其对称性等度量属性与人类对相似度的感知不一致。相反，Tversky (1977) 提出了一种具有心理学合理性的公理化相似度理论，该理论将对象表示为特征集，并将其相似度作为其共同特征和区分特征的函数。这种相似度模型此前未在深度学习中使用过，部分原因在于难以纳入离散集合操作。在本文中，我们开发了 Tversky 相似度的可微参数化形式，使其可通过梯度下降学习，并推导出了基本的神经网络构建块，如 Tversky 投影层，与线性投影层不同，它可以建模如 XOR 等非线性函数。通过图像识别和语言建模神经网络的实验，我们表明 Tversky 投影层是对线性投影层的有益替代。例如，在 NABirds 图像分类任务中，使用 Tversky 投影层适配的冻结 ResNet-50 相比线性层适配器基线实现了 24.7% 的相对准确率提升。使用 Tversky 投影层，GPT-2 在 PTB 上的困惑度降低了 7.8%，参数量减少了 34.8%。最后，我们提出对两类投影层的统一解释，即将其视为计算输入刺激与学习原型之间的相似度，为此我们还提出了一种新颖的可视化技术，突出了 Tversky 投影层的可解释性。我们的工作提供了一种新范式，用于思考现代深度学习中隐含的相似度模型，并设计在成熟的心理学相似度理论下可解释的神经网络。
引用
@article{arxiv.2506.11035,
title = {Tversky Neural Networks: Psychologically Plausible Deep Learning with Differentiable Tversky Similarity},
author = {Moussa Koulako Bala Doumbouya and Dan Jurafsky and Christopher D. Manning},
journal= {arXiv preprint arXiv:2506.11035},
year = {2025}
}