发现循环神经网络中简单性偏差之外的替代解决方案
神经元与认知
2025-09-29 v1 神经与进化计算
摘要
训练循环神经网络（RNN）以执行神经科学风格的任务已成为生成脑神经回路如何执行计算假设的流行方法。最近的研究表明，执行任务训练的 RNN 具有强大的简单性偏差。具体而言，这种归纳偏差常常导致在同一任务上训练的 RNN 趋于相同解决方案，通常由固定点吸引子或其他低维动力学图案构成。虽然此类解决方案容易解释，但这种聚合对于生成如何执行神经计算的真正唯一假设集却大有裨益。本文提出迭代神经相似性分解（INSD）方法，以打破这种归纳偏差。通过对标准任务训练的 RNN 产生的神经活动对其线性可预测性进行惩罚，我们发现对经典神经科学风格 RNN 任务的另一类解决方案。这些解决方案在多种分析技术中都呈现出不同特征，包括表征相似性指标、动力系统分析以及任务相关变量的线性可解性。此外，这些替代解决方案有时在困难或超出分布的任务情景下能够实现更好的性能。我们的发现凸显了超越简单性偏差以发现神经计算更丰富、更具多样性模型的重要性。
引用
@article{arxiv.2509.21504,
title = {Discovering alternative solutions beyond the simplicity bias in recurrent neural networks},
author = {William Qian and Cengiz Pehlevan},
journal= {arXiv preprint arXiv:2509.21504},
year = {2025}
}