基于原型的赢者通吃神经网络中神经元功能的解释
机器学习
2025-01-07 v1 神经与进化计算
机器学习
摘要
基于最小欧氏距离的赢者通吃（WTA）网络的原型学习（PbL）是一种直观的多类分类方法。通过构建有意义的类中心，PbL 比基于最大内积的超平面学习（HbL）方法（IP-WTA）具有更高的可解释性和泛化能力，并能高效检测并拒绝不属于任何类的样本。本文首先从表示角度证明了 IP-WTA 与 ED-WTA 的等价性。然后，我们表明朴素地使用该等价性会导致不直观的 ED-WTA 网络，其中中心与其所代表的数据具有较大距离。我们提出 ED-WTA，用两个原型对每个神经元建模：一个正原型表示由该神经元建模的样本，一个负原型表示训练期间被该神经元错误赢取的样本。我们提出了一种用于 ED-WTA 网络的新训练算法，其在更新正原型和负原型之间巧妙切换，对可解释原型的涌现至关重要。出乎意料地，我们观察到每个神经元的负原型与正原型难以区分地相似。该观察背后的理由是，被某原型误认的训练数据确实与其相似。本文的主要发现是将神经元功能解释为计算到正原型与负原型距离之差，这与 BCM 理论一致。在我们的实验中，我们表明所提出的 ED-WTA 方法构建了高度可解释的原型，可成功用于检测离群点和对抗样本。
引用
@article{arxiv.2008.08750,
title = {Prototype-based interpretation of the functionality of neurons in winner-take-all neural networks},
author = {Ramin Zarei Sabzevar and Kamaledin Ghiasi-Shirazi and Ahad Harati},
journal= {arXiv preprint arXiv:2008.08750},
year = {2025}
}