MAGMA：针对 MAEs 的流形正则化
计算机视觉与模式识别
2024-12-09 v2
摘要
掩码自编码器（MAEs）因其独立于对比学习框架中用于生成正（和/或负）配对的增强技术而成为自监督学习（SSL）中的重要分野。其掩码和重建策略也自然地与自然语言处理中的 SSL 方法一致。大多数 MAEs 基于基于 Transformer 的架构构建，其中视觉特征未得到正则化，而与其基于卷积神经网络（CNN）的对手相比，这可能会潜在地阻碍其性能。为此，我们引入了 MAGMA—a 一种应用于不同 Transformer 层表示的批量范围内层级正则化损失。我们展示，通过引入所提出的正则化损失，一个人可以显著提高 MAE 基于模型的性能。我们进一步展示了该提出损失对优化其他通用 SSL 方法（如 VICReg 和 SimCLR）的影响，拓宽了该方法影响的范围。我们的代码基地可在 https://github.com/adondera/magma 查找。
关键词
引用
@article{arxiv.2412.02871,
title = {MAGMA: Manifold Regularization for MAEs},
author = {Alin Dondera and Anuj Singh and Hadi Jamali-Rad},
journal= {arXiv preprint arXiv:2412.02871},
year = {2024}
}
备注
To be published in WACV 2025