面向无监督图像分类的对比知识融合
计算机视觉与模式识别
2023-07-28 v1
摘要
知识融合（KA）旨在学习一个紧凑的学生模型，以处理来自多个分别专用于各自任务的教师模型的联合目标。现有方法侧重于在公共表示空间中对教师和学生进行粗略对齐，使得学生难以从一组异构教师中学习到恰当的决策边界。此外，以往工作中的 KL 散度仅最小化教师与学生之间的概率分布差异，忽略了教师的固有特性。因此，我们提出了一种新颖的对比知识融合（CKA）框架，其引入对比损失与对齐损失以实现类内聚拢与类间分离。我们设计了模型内与模型间的对比损失，以拉大不同类别表示之间的距离。引入对齐损失以最小化师生模型在公共表示空间中的样本级分布差异。此外，学生通过软标签在任务级融合中高效且灵活地学习异构无监督分类任务。在基准数据集上的大量实验证明了 CKA 在具体任务及多任务融合中的泛化能力。全面的消融研究进一步揭示了我们的 CKA 的内在机制。
引用
@article{arxiv.2307.14781,
title = {Contrastive Knowledge Amalgamation for Unsupervised Image Classification},
author = {Shangde Gao and Yichao Fu and Ke Liu and Yuqiang Han},
journal= {arXiv preprint arXiv:2307.14781},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2112.07327 by other authors