基于自蒸馏的域不可知聚类
机器学习
2021-12-21 v2 人工智能
计算机视觉与模式识别
摘要
自监督学习的最新进展缩小了监督与无监督表示学习之间的差距。然而，大多数自监督与深度聚类技术严重依赖数据增强，导致其在许多缺乏足够领域知识以进行增强的学习任务中失效。我们提出了一种基于自蒸馏的新算法，用于域不可知聚类。我们的方法构建于现有深度聚类框架之上，且不需要单独的学生模型。所提方法在 CIFAR-10 上优于现有的域不可知（无增强）算法。我们通过经验证明，知识蒸馏能够通过从模型中提取比仅使用预测标签更丰富的“暗知识”来改善无监督表示学习。初步实验还表明，自蒸馏改善了 DeepCluster-v2 的收敛性。
引用
@article{arxiv.2111.12170,
title = {Domain-Agnostic Clustering with Self-Distillation},
author = {Mohammed Adnan and Yani A. Ioannou and Chuan-Yung Tsai and Graham W. Taylor},
journal= {arXiv preprint arXiv:2111.12170},
year = {2021}
}
备注
NeurIPS 2021 Workshop: Self-Supervised Learning - Theory and Practice