通过多任务学习实现松弛等变性
机器学习
2026-01-06 v3
摘要
将等变性作为归纳偏置引入深度学习架构以利用数据对称性，已在化学和动力系统等多个应用中取得成功。特别是，旋转-平移对于有效建模几何图和分子至关重要，理解三维结构可增强泛化能力。然而，严格的等变模型由于其较高的计算复杂性而常常带来挑战。在本文中，我们介绍REMUL，一种通过多任务学习为无约束网络学习近似等变性的训练过程。通过将等变性作为可调目标与主要任务损失一起制定，REMUL提供了一种原则性的方法来控制近似对称性的程度，放松了传统等变架构的刚性约束。我们表明，无约束模型（未在架构中构建等变性）可以通过最小化一个额外的简单等变性损失来学习近似对称性。这使得能够在强制执行等变性约束和优化任务特定性能之间进行定量权衡。我们的方法在与等变基线相比取得了有竞争力的性能，同时速度显著更快（推理时高达10倍，训练时高达2.5倍），为在无约束架构中利用对称性提供了一种实用且可适应的方法。
引用
@article{arxiv.2410.17878,
title = {Relaxed Equivariance via Multitask Learning},
author = {Ahmed A. Elhag and T. Konstantin Rusch and Francesco Di Giovanni and Michael Bronstein},
journal= {arXiv preprint arXiv:2410.17878},
year = {2026}
}