LieGG：研究习得的李群生成元
机器学习
2023-02-01 v3
摘要
内置于神经网络中的对称性因节省学习它们所需的数据，已对广泛任务显现出极大益处。我们背离“对称性非先验内置模型中”的立场，认为对于鲁棒网络而言，直接从数据学习对称性以拟合任务函数是有利的。本文提出一种提取神经网络所学对称性并评估网络对其不变程度的方法。借助该方法，我们能在无需数据对称性先验知识的情况下，以对应李群生成元的形式显式检索习得的不变性。我们利用所提方法研究对称性质如何依赖于神经网络的参数化与配置。我们发现网络学习对称性的能力在一系列架构上具有泛化性。然而，所学对称性的质量取决于深度与参数数量。
引用
@article{arxiv.2210.04345,
title = {LieGG: Studying Learned Lie Group Generators},
author = {Artem Moskalev and Anna Sepliarskaia and Ivan Sosnovik and Arnold Smeulders},
journal= {arXiv preprint arXiv:2210.04345},
year = {2023}
}