分裂不变等变表示的自监督学习
计算机视觉与模式识别
2023-06-21 v2 人工智能
机器学习
摘要
近期在利用自监督学习获得不变或等变表示方面取得了进展。不变方法在大规模数据集上评估，而等变方法在更小、更受控的设置中评估。我们旨在弥合两者之间的差距，以学习适用于广泛任务的更多样化表示。我们首先引入一个名为 3DIEBench 的数据集，包含来自 55 个以上类别的 3D 模型渲染图及超过 250 万张图像，其中我们对应用于物体的变换具有完全控制。我们进一步提出一种基于超网络（hypernetworks）的预测器架构，以学习等变表示且不可能退化为不变性。我们引入 SIE（分裂不变-等变），它将基于超网络的预测器与分为两部分（一部分不变、另一部分等变）的表示相结合，以学习更丰富的表示。我们从定性和定量角度展示了在等变相关任务上相对于现有方法的显著性能提升。我们进一步分析了所引入的预测器，并展示它如何引导所学潜在空间。我们希望我们引入的数据集和方法能够在更复杂的场景中实现无监督的更丰富表示学习。代码和数据可在 https://github.com/facebookresearch/SIE 获取。
引用
@article{arxiv.2302.10283,
title = {Self-supervised learning of Split Invariant Equivariant representations},
author = {Quentin Garrido and Laurent Najman and Yann Lecun},
journal= {arXiv preprint arXiv:2302.10283},
year = {2023}
}