伪标签增强掩码自编码器
计算机视觉与模式识别
2024-06-26 v1 人工智能
摘要
掩码图像建模（MIM）基于的模型，如 SdAE、CAE、GreenMIM 和 MixAE，探索了不同的策略来提高掩码自编码器（MAE）的性能，这些策略修改了预测、损失函数或包含额外的架构组件。本文提出了一种增强方法，通过集成伪标签来提升 MAE 的性能，这些标签用于类和数据标记，同时用标记级别重建取代传统的像素级重建。该策略使用聚类分配作为伪标签，以促进网络中的实例级区分，而标记重建需要生成捕获局部上下文的离散标记。伪标签和重建的目标需要由教师网络生成。为 disentangle 伪标签的生成和标记特征的重建，我们将教师网络解耦为两个 distinct 的模型，其中一个作为标签教师，另一个作为重建教师。这种分离经验上优于单个教师，同时对吞吞量和内存消耗几乎没有影响。将伪标签作为辅助任务整合后，在 ImageNet-1K 和其他下游任务上（包括分类、语义分割和检测）都显示出显著的性能提升。
引用
@article{arxiv.2406.17450,
title = {Pseudo Labelling for Enhanced Masked Autoencoders},
author = {Srinivasa Rao Nandam and Sara Atito and Zhenhua Feng and Josef Kittler and Muhammad Awais},
journal= {arXiv preprint arXiv:2406.17450},
year = {2024}
}