神经网络学习距离度量

神经网络可能自然倾向于采用基于距离的表征，其中较小的激活值表示与所学原型的接近度更近。这与基于强度的方法不同，后者依赖于激活值的大小。为测试此假设，我们对六种 MNIST 架构变体进行实验，要求其学习距离或强度表征。我们的结果表明，底层表征会影响模型性能。我们发展了一种新颖的几何框架来解释这些发现，并引入基于马哈拉诺斯距离方程的 OffsetL2 架构，以进一步验证该框架。本工作强调了在神经网络设计中考虑基于距离的学习的重要性。