利用监督对比学习学习标签层次结构
机器学习
2024-02-02 v1 人工智能
摘要
监督对比学习(SCL)框架将每个类别视为独立的，从而认为所有类别同等重要。这忽略了存在标签层次结构的常见场景，在该场景中，同一类别下的细粒度类别比差异较大的类别表现出更多的相似性。本文引入了一系列标签感知SCL方法(LASCL)，通过利用类别之间的相似性将层次信息纳入SCL，从而创建一个结构更良好且更具区分度的特征空间。该目标首先通过基于类别邻近度度量调整实例间距离并采用缩放的实例-实例对比来实现。此外，引入了额外的实例-中心对比，将类内样本移近其中心，这些中心由一组可学习的标签参数表示。学习到的标签参数无需进一步微调即可直接用作最近邻分类器。通过这种方式，通过改善簇内紧凑性和簇间分离度，生成了更好的特征表示。在三个数据集上的实验表明，所提出的LASCL在多标签中区分单一标签的文本分类任务上表现良好，优于基线监督方法。我们的代码已公开。
引用
@article{arxiv.2402.00232,
title = {Learning Label Hierarchy with Supervised Contrastive Learning},
author = {Ruixue Lian and William A. Sethares and Junjie Hu},
journal= {arXiv preprint arXiv:2402.00232},
year = {2024}
}