在机器学习中强制、发现与促进对称性的统一框架
机器学习
2025-06-13 v3 数值分析
微分几何
数值分析
摘要
对称性普遍存在于自然界中，并持续在物理学与机器学习中扮演日益核心的角色。基本对称性，如庞加莱（Poincaré）不变性，使得在地球实验室中发现的物理定律能够被外推至宇宙最遥远的角落。对称性对于在机器学习应用中实现此种外推能力至关重要。例如，图像分类中的平移不变性使得参数更少的模型（如卷积神经网络）能够在更小的数据集上训练并达到最先进的性能。在本文中，我们提供了一个统一的理论与方法论框架，以三种方式将对称性融入机器学习模型：1. 在训练模型时强制已知对称性；2. 发现给定模型或数据集的未知对称性；3. 当数据中有充分证据时，通过在用户指定的候选群中学习一个破坏对称性的模型，在训练期间促进对称性。我们表明这些任务可以被纳入一个共同的数学框架，其核心对象是对应于向量丛上纤维线性李群作用的李导数。我们通过证明强制与发现对称性是相对于李导数的双线性结构对偶的线性代数任务，扩展并统一了若干现有结果。我们还提出一种通过引入一类基于李导数与核范数松弛的凸正则化函数以在机器学习模型训练期间惩罚对称性破坏的新方式来促进对称性。我们解释了这些思想如何应用于广泛的机器学习模型，包括基函数回归、动力系统发现、神经网络以及作用于场的神经算子。
引用
@article{arxiv.2311.00212,
title = {A Unified Framework to Enforce, Discover, and Promote Symmetry in Machine Learning},
author = {Samuel E. Otto and Nicholas Zolman and J. Nathan Kutz and Steven L. Brunton},
journal= {arXiv preprint arXiv:2311.00212},
year = {2025}
}