近似等变神经过程
机器学习
2024-11-12 v2 机器学习
摘要
等变深度学习架构利用学习问题中的对称性来提高基于神经网络模型的样本效率及其泛化能力。然而，在建模真实世界数据时，学习问题通常并非完全等变，而仅近似等变。例如，在从气象站观测数据估计全球温度场时，局部地形特征如山脉会破坏平移等变性。在这些情况下，构建能够以数据驱动方式灵活偏离完全等变性的架构是有利可图的。当前实现这一目标的方法通常无法即插即用于任何架构和对称性群。本文开发了一种通用方法，通过现有的等变架构实现这一目标。我们的做法对对称性群和模型架构均不做选择，具有广泛适用性。我们考虑在神经过程(NPs)中使用近似等变架构，这是一类流行的元学习模型。我们在多个合成和真实世界回归实验中展示了该方法的有效性，表明近似等变 NP 模型能够优于其非等变和严格等变对手。
引用
@article{arxiv.2406.13488,
title = {Approximately Equivariant Neural Processes},
author = {Matthew Ashman and Cristiana Diaconu and Adrian Weller and Wessel Bruinsma and Richard E. Turner},
journal= {arXiv preprint arXiv:2406.13488},
year = {2024}
}