HiLo:一种对域偏移鲁棒的广义类别发现学习框架
计算机视觉与模式识别
2025-03-04 v2 人工智能
摘要
广义类别发现(GCD)是一项具有挑战性的任务,在该任务中,给定一个部分标注的数据集,模型必须对所有未标注实例进行分类,无论它们来自已标注类别还是新类别。在本文中,我们挑战了该任务中一个剩余的假设:所有图像共享相同的域。具体来说,我们引入了一个新任务和方法来处理当未标注数据还包含来自与已标注集不同域的图像时的 GCD。我们提出的 `HiLo` 网络提取高级语义特征和低级域特征,然后最小化这些表示之间的互信息。我们的直觉是,基于域信息和基于语义信息的聚类应该是独立的。我们进一步通过为 GCD 任务量身定制的专门域增强以及课程学习方法来扩展我们的方法。最后,我们从损坏的细粒度数据集构建了一个基准,并在具有真实世界域偏移的 DomainNet 上进行了大规模评估,在此设置下重新实现了多个 GCD 基线。我们证明,HiLo 在所有评估中均以大幅优势优于最先进的类别发现模型。
引用
@article{arxiv.2408.04591,
title = {HiLo: A Learning Framework for Generalized Category Discovery Robust to Domain Shifts},
author = {Hongjun Wang and Sagar Vaze and Kai Han},
journal= {arXiv preprint arXiv:2408.04591},
year = {2025}
}
备注
v2: Accepted as a conference paper at ICLR 2025; Project page: https://github.com/Visual-AI/hilo/