流等价循环神经网络

数据以连续流的形式到达我们的感官，平滑地从一个瞬间转换到下一个瞬间。这种平滑的转换可视为环境中一种连续对称性，定义随时间在刺激之间建立等价关系。在机器学习中，尊重数据对称性的神经网络架构称为等价网络，在 terms of 泛化能力和样本效率方面具有显著优势。然而，截至目前，等价性仅被考虑用于静态变换和前馈网络，限制了其在序列模型（如循环神经网络，RNN）以及相应时间参数化序列变换中的适用性。在本工作中，我们将等价网络理论扩展到“流”——一种捕捉自然时间变换（如视觉运动）的一参数李子群。我们首先表明，标准 RNN 通常不具备流等价性：其隐藏状态在移动刺激下未能以几何结构化方式进行转换。随后，我们展示了如何引入流等价性，并在下一步预测和序列分类任务上证明这些模型在训练速度、长度泛化和速度泛化方面显著优于非等价模型。我们将本工作置于构建尊重支配我们周围世界时间参数化对称性的序列模型的第一步。