端到端监督式多标签对比学习
计算机视觉与模式识别
2023-07-11 v1
摘要
多标签表示学习被认为是一个具有挑战性的问题，其可能与对象类别间的标签依赖关系或正/负样本固有不平衡等数据相关问题有关。近期进展从以模型为中心和以数据为中心的视角应对这些挑战。在以模型为中心的方法中，标签相关性通过外部模型设计（如图 CNN）获得，以引入训练归纳偏置。然而，它们未能设计端到端训练框架，导致高计算复杂度。相反，在以数据为中心的方法中，考虑数据集的真实性质以改进分类，却忽略了标签依赖关系。本文提出一种新的端到端训练框架——称为 KMCL（基于核的多标签对比学习）——以解决以模型为中心和以数据为中心设计的不足。KMCL 首先将嵌入特征转换为高斯 RKHS 中的指数核混合。随后编码一个目标损失，包含（a）用于重建核表示的重建损失，（b）解决固有不平衡问题的非对称分类损失，以及（c）捕获标签相关性的对比损失。KMCL 对特征编码器的不确定性进行建模，同时保持较低的计算开销。在图像分类任务上进行了大量实验，以展示 KMCL 相对于 SOTA 方法的一致改进。PyTorch 实现见 \url{https://github.com/mahdihosseini/KMCL}。
引用
@article{arxiv.2307.03967,
title = {End-to-End Supervised Multilabel Contrastive Learning},
author = {Ahmad Sajedi and Samir Khaki and Konstantinos N. Plataniotis and Mahdi S. Hosseini},
journal= {arXiv preprint arXiv:2307.03967},
year = {2023}
}