衡量与控制跨任务训练的循环神经网络解异构性
机器学习
2026-02-11 v3 信息论
神经与进化计算
math.IT
神经元与认知
摘要
任务训练的循环神经网络 (RNNs) 广泛用于神经科学和机器学习中建模动态计算。为深入理解神经系统如何解决任务，先前的工作常逆向工程单个训练网络。然而，不同在同一任务上训练并取得相似性能的 RNNs 可以在内部表现出显著不同的解决方案，这被称为解异构性 (solution degeneracy)。本文发展了一个统一的框架，用于系统性地衡量和控制跨三个层面的解异构性：行为、神经动力学和权重空间。我们将该框架应用于在四个与神经科学相关的任务上训练的 3,400 个 RNNs：翻转存储、正弦波生成、延迟判别和路径积分，同时系统性地变异任务复杂度、学习范畴、网络规模和正则化。我们发现，更高的任务复杂度和更强的特征学习会减少神经动力学中的解异构性，但增加权重空间中的解异构性，对行为产生混合影响。相比之下，更大的网络和结构正则化会在所有三个层面上减少解异构性。这些发现经验上验证了Contravariance原理，为寻求调节RNN解异构性变异的研究人员提供了实用指导，既可用于探寻共享神经机制，也可用于建模生物系统中观察到的个体变异性。本工作为衡量和控制任务训练的RNNs中的解异构性提供了原则化框架，为构建更具可解释性和生物学依据的神经计算模型提供了新工具。
引用
@article{arxiv.2410.03972,
title = {Measuring and Controlling Solution Degeneracy across Task-Trained Recurrent Neural Networks},
author = {Ann Huang and Satpreet H. Singh and Flavio Martinelli and Kanaka Rajan},
journal= {arXiv preprint arXiv:2410.03972},
year = {2026}
}