群不变与等变表示的无监督学习
机器学习
2024-04-15 v3
摘要
等变神经网络将其隐藏特征按照作用于数据的群 G 的表示进行变换，展现出训练效率与改进的泛化性能。在本工作中，我们将群不变与等变表示学习拓展至无监督深度学习领域。我们提出一种基于编码器-解码器框架的通用学习策略，其中潜在表示被分离为一个不变项和一个等变群作用分量。核心思想是，网络通过学习编码和解码数据进出群不变表示，并额外学习预测适当的群作用以对齐输入与输出的姿态，从而解决重构任务。我们推导了等变编码器的必要条件，并给出了对任意 G（离散与连续均可）均有效的构造。我们明确描述了针对旋转、平移与置换的构造。我们在采用不同网络架构、多样数据类型的多项实验中检验了方法的有效性与鲁棒性。
引用
@article{arxiv.2202.07559,
title = {Unsupervised Learning of Group Invariant and Equivariant Representations},
author = {Robin Winter and Marco Bertolini and Tuan Le and Frank Noé and Djork-Arné Clevert},
journal= {arXiv preprint arXiv:2202.07559},
year = {2024}
}