KDC-MAE：知识蒸馏对比掩码自编码器
计算机视觉与模式识别
2024-11-20 v1
摘要
在这项工作中，我们尝试扩展自监督学习（SSL）范式的思想，并通过结合对比学习、自蒸馏（知识蒸馏）和掩码数据建模这三种主要的SSL框架，来学习一种联合且协调的表征，从而展示一条前进的道路。所提出的SSL技术通过SSL不同学习目标的协同能力进行学习。因此，为了联合学习不同的SSL目标，我们提出了一种新的SSL架构KDC-MAE、一种用于学习模块对应关系的互补掩码策略，以及一种协调组合它们的加权方式。实验结果表明，对比掩码对应关系与KD学习目标一起，有助于在多个任务上对多种模态进行更好的学习。
引用
@article{arxiv.2411.12270,
title = {KDC-MAE: Knowledge Distilled Contrastive Mask Auto-Encoder},
author = {Maheswar Bora and Saurabh Atreya and Aritra Mukherjee and Abhijit Das},
journal= {arXiv preprint arXiv:2411.12270},
year = {2024}
}