基于频率域视角的域偏移下通用类别发现

通用类别发现（GCD）旨在利用来自已知类别的标记样本，以聚类 unlabeled 数据，这些数据可能包含已知和未知类别。虽然现有方法在标准条件下取得了令人印象的成果，但在分布偏移的存在下，性能常常恶化。本文探讨了更现实的任务：域偏移下的通用类别发现（DS_GCD），其中 unlabeled 数据不仅包含未知类别，还包含来自未知域的样本。为解决这一挑战，我们提出了基于频率域信息的 **F**requency-guided **G**ene**r**alized **C**at**e**gory **D**iscovery 框架（FREE），通过利用频率域信息提升模型在分布偏移下的类别发现能力。具体而言，我们首先提出一种基于频率的域分离策略，通过测量样本的幅度差异将样本划分为已知域和未知域。随后，我们提出两种频率域扰动策略：一种是跨域策略，通过在不同域之间交换幅度分量来适应新分布；另一种是域内策略，通过增强未知域内部样本在域内变异性的鲁棒性。此外，我们将自监督对比目标和语义聚类损失扩展，以更好地指导训练过程。最后，我们引入一种基于聚类难度的重采样技术，主动关注难以聚类的类别，从而进一步提升模型性能。广泛的实验表明，我们的方法有效缓解了跨各种基准数据集的分布偏移影响，在发现已知和未知类别方面实现了卓越的性能。