扩大 [CLS] 瓶颈以学习丰富表征

基于蒸馈的自监督学习通常会导致更压缩的表征，因为其激进的聚类过程以及目标分布更锐利的实现。为克服这一限制并保留更多输入信息，我们引入了 UDI，即概念为“扩张的蒸馈自监督学习”(Unsqueezed Distillation-based self-supervised learning)。UDI 通过鼓励来自通过分层抽样派生的局部预测综合轮廓的多模态预测来丰富所学表征。我们的评估表明，UDI 不仅在实例级别促进语义有意义的表征，在图像分类任务中达到或优于最新自监督学习方法的优异或竞争结果，还有效地保留了输入的杂质，这会显著提高密集预测任务（包括目标检测和分割）的效果。此外，UDI 在低样本图像分类中也能竞争，提高了联合嵌入管道的可扩展性。present various visualizations and ablation studies to further elucidate the mechanisms behind UDI. Our source code is available at https://github.com/ISL-CV/udi.