多义性成因为何？混合选择性的一种偶然成因新说
机器学习
2024-02-14 v3 人工智能
神经与进化计算
摘要
多义神经元——即对一组不相关特征激活的神经元——一直被视为任务优化深度网络可解释性的重大障碍，并对 AI 安全产生影响。多义性的经典成因说认为，数据包含的“特征”多于神经元数量，因此学习执行任务迫使网络将多个不相关的特征共同分配给同一个神经元，危及我们理解网络内部处理的能力。在这项工作中，我们提出了多义性的第二种且非互斥的成因说。我们证明，即使有充足的神经元来表示数据中的所有特征，多义性也可能偶然出现，我们将这种现象称为“偶然多义性”。通过理论与实验相结合，我们表明偶然多义性可能由多种原因引起，包括正则化和神经噪声；这种偶然多义性之所以发生，是因为随机初始化可能仅凭偶然性就将多个特征最初分配给同一个神经元，而训练动力学随后会强化这种重叠。本文最后呼吁进一步研究，量化任务优化深度神经网络中性能与多义性之间的权衡，以更好地理解多义性在多大程度上是可避免的。
引用
@article{arxiv.2312.03096,
title = {What Causes Polysemanticity? An Alternative Origin Story of Mixed Selectivity from Incidental Causes},
author = {Victor Lecomte and Kushal Thaman and Rylan Schaeffer and Naomi Bashkansky and Trevor Chow and Sanmi Koyejo},
journal= {arXiv preprint arXiv:2312.03096},
year = {2024}
}