从数据中学习连续对称性的无穷小生成元

利用数据中固有的对称性可以显著提高学习过程的样本效率和所学模型的泛化能力。当数据清晰地揭示出潜在对称性时，利用这种对称性可以自然地指导模型架构或学习策略的设计。然而，在众多现实场景中，识别给定数据分布中的特定对称性往往并不明确。为解决此问题，一些现有工作以数据驱动的方式学习对称性，通过数据参数化并学习期望的对称性。但这些方法通常依赖于显式知识，例如预定义的Lie群，这通常局限于线性或仿射变换。在本文中，我们提出了一种新颖的对称性学习算法，该算法基于由单参数群定义的变换，即沿着称为无穷小生成元的向量场方向连续参数化的变换。我们的方法建立在最小的归纳偏置之上，不仅涵盖了源于Lie群的常用对称性，还扩展到由非线性生成元导出的对称性。为了学习这些对称性，我们引入了一个有效性得分的概念，用于检验变换后的数据对于给定任务是否仍然有效。该有效性得分被设计为完全可微且易于计算，从而能够有效搜索实现数据固有对称性的变换。我们主要在图像数据和偏微分方程两个领域应用了我们的方法，并展示了其优势。我们的代码可在\url{https://github.com/kogyeonghoon/learning-symmetry-from-scratch.git}获取。