面向广义类别发现的迁移与对齐网络
计算与语言
2023-12-29 v1 机器学习
摘要
广义类别发现是一项重要的现实任务。尽管在已知类别上性能有所提升,但现有方法在新颖类别上表现不佳。我们将这种不佳表现归因于两个原因:有标签数据与无标签数据之间的有偏知识迁移,以及无标签数据上的有噪声表示学习。为了缓解这两个问题,我们提出了迁移与对齐网络(TAN),该网络包含两种知识迁移机制以校准有偏知识,以及两种特征对齐机制以学习判别性特征。具体来说,我们使用原型对不同类别进行建模,并迁移有标签数据中的原型以纠正模型对已知类别的偏差。一方面,我们将无标签数据中已知类别的实例拉近这些原型,形成更紧凑的簇,并避免已知类别与新颖类别之间的边界重叠。另一方面,我们利用这些原型基于类别相似性校准从无标签数据估计出的有噪声原型,从而能够更准确地估计新颖类别的原型,这些原型随后可作为可靠的学习目标。在知识迁移之后,我们进一步提出两种特征对齐机制,通过将实例特征与增强特征以及校准后的原型对齐,从无标签数据中获取实例级和类别级知识,从而以更少的噪声提升模型在已知和新颖类别上的性能。在三个基准数据集上的实验表明,我们的模型优于最先进的方法,尤其是在新颖类别上。我们还提供了理论分析以深入理解我们的模型。代码和数据见 https://github.com/Lackel/TAN。
引用
@article{arxiv.2312.16467,
title = {Transfer and Alignment Network for Generalized Category Discovery},
author = {Wenbin An and Feng Tian and Wenkai Shi and Yan Chen and Yaqiang Wu and Qianying Wang and Ping Chen},
journal= {arXiv preprint arXiv:2312.16467},
year = {2023}
}
备注
Accepted by AAAI 2024