MOMA：从自监督教师模型中蒸馏
计算机视觉与模式识别
2023-02-07 v1 人工智能
机器学习
摘要
对比学习和掩码图像建模在自监督表示学习中展现了卓越的性能，其中动量对比（即 MoCo）和掩码自编码器（即 MAE）分别是各自领域的当前最优方法。本文中，我们提出 MOMA，以自监督方式从预训练的 MoCo 和 MAE 中蒸馏，融合两种范式的知识。我们在提出的 MOMA 框架中引入了三种不同的知识迁移机制：(1) 将预训练的 MoCo 蒸馏至 MAE。(2) 将预训练的 MAE 蒸馏至 MoCo。(3) 将预训练的 MoCo 和 MAE 蒸馏至一个随机初始化的学生模型。在蒸馏过程中，教师和学生分别接收原始输入和掩码输入。学习通过对齐教师的归一化表示和学生的投影表示来实现。这种简单的设计带来了高效的计算，具有极高的掩码率和大幅减少的训练周期，且无需额外考虑蒸馏目标。实验表明，MOMA 提供了紧凑的学生模型，性能可与现有最优方法相媲美，结合了两种自监督学习范式的优势。它在计算机视觉的不同基准测试中展现了有竞争力的结果。我们希望我们的方法能为以计算高效的方式迁移和适配大规模预训练模型的知识提供一种思路。
引用
@article{arxiv.2302.02089,
title = {MOMA:Distill from Self-Supervised Teachers},
author = {Yuchong Yao and Nandakishor Desai and Marimuthu Palaniswami},
journal= {arXiv preprint arXiv:2302.02089},
year = {2023}
}