利用梯度自动学习逐层等变性与对称性
机器学习
2023-10-11 v1 人工智能
机器学习
摘要
卷积将等变对称性编码进神经网络，从而带来更好的泛化性能。然而，对称性对网络可表示的函数施加了固定的硬约束，需要预先指定，且无法适应。我们的目标是允许灵活的对称性约束，可利用梯度从数据中自动学习。从零开始学习对称性和相关的权重连接结构之所以困难有两个原因。首先，它需要高效且灵活的逐层等变性参数化。其次，对称性充当约束，因此不被衡量数据拟合的训练损失所鼓励。为克服这些挑战，我们改进了软等变性的参数化，并通过优化边际似然来学习各层中的等变程度，该边际似然使用可微Laplace近似估计。该目标平衡了数据拟合与模型复杂度，实现了深度网络中的逐层对称性发现。我们在图像分类任务上展示了自动学习逐层等变性的能力，取得了与具有硬编码对称性的基线等同或更好的性能。
引用
@article{arxiv.2310.06131,
title = {Learning Layer-wise Equivariances Automatically using Gradients},
author = {Tycho F. A. van der Ouderaa and Alexander Immer and Mark van der Wilk},
journal= {arXiv preprint arXiv:2310.06131},
year = {2023}
}