漫步权重流形：受神经调节启发的条件化拓扑方法

人们经常希望尽可能高效地学习一系列相似任务，并在任务间重用知识。在人工神经网络中，这通常通过将上下文作为输入注入，使网络根据任务上下文进行条件化来实现。大脑有不同的策略：参数本身作为各种神经调节剂（如血清素）的函数被调节。在这里，我们从神经调节中汲取灵感，提出学习作为任务上下文变量平滑参数化函数的权重。我们不再优化权重向量（即权重空间中的单个点），而是优化权重空间中具有预定义拓扑的平滑流形。为了实现这一点，我们推导出了流形优化的形式化处理，即在体积运动约束下最小化损失泛函，类似于梯度下降。在推理期间，条件化在此流形上选择一个点，作为特定子任务的有效权重矩阵。这种条件化策略有两个主要优势。首先，流形的拓扑结构（无论是直线、圆还是环面）是关于任务之间关系归纳偏置的便捷杠杆。其次，一种状态下的学习会平滑地影响整个流形，鼓励跨状态的泛化。为了验证这一点，我们训练了具有多种拓扑结构的流形，包括权重空间中的直线（用于对输入数据中的噪声水平进行条件化）和椭圆（用于旋转图像）。尽管这些参数化很简单，但它们优于通过输入拼接进行条件化的相同网络，并且能更好地泛化到分布外样本。这些结果表明，在低维流形上调节权重为传统条件化提供了一种有原则且有效的替代方案。