超越懒式-丰富型二分法：从表征几何洞察特征学习

将任务相关信息整合到神经表征中是生物智能和人工智能系统的基本能力。最近的理论将学习分为两个范畴：丰富型范畴中，神经网络主动学习任务相关特征；懒式范畴中，网络表现得像随机特征模型。然而，这一简单的懒式-丰富型二分法忽略了由学习算法、网络结构和数据属性差异塑造的多样化底层分类学。为此，我们引入一个分析框架，通过神经表征的几何来研究特征学习。我们不检查单个已学习特征，而是描述任务相关表征流形在学习过程中的演化方式。我们在理论和实证环境中表明，随着网络学习特征，任务相关流形会脱�，流形几何的变化揭示了超越懒式-丰富型二分法的不同学习阶段和策略。该框架为神经科学和机器学习中的特征学习提供了新视角，阐明了神经电路中的结构归纳偏置及其在跨分布泛化机制中的作用。