基于非负矩阵分解的通用类别发现新视角
计算机视觉与模式识别
2024-10-31 v2 人工智能
摘要
通用类别发现(GCD)旨在使用标记的基数据对基准图像和新图像进行分类。然而,当前方法不足以针对基于余弦相似性构建的共现矩阵 进行内在优化,无法实现基准-新领域的零交叉区域以及基准和新领域的充分稀疏性。为此,我们提出了非负矩阵分解的通用类别发现(NN-GCD)框架。该框架采用对称非负矩阵分解(SNMF)作为数学工具,证明了最优 K 均值聚类与最优 SNMF 的等价性,以及 SNMF 求解器与非负对比学习(NCL)优化的等价性。基于这些理论等价性,NN-GCD 将 的优化和 K 均值聚类重新表述为 NCL 优化问题。此外,为满足非负约束并使 GCD 模型收敛至近最优区域,我们提出了 GELU 激活函数和 NMF NCE 损失。为将 \bar{A 从次优状态迁移至期望的 ,我们引入混合稀疏正则化方法以施加稀疏约束。实验结果表明,NN-GCD 在 GCD 数据集上优于当前最先进方法,平均准确率达到 66.1%,显著优于先前方法高出 4.7%。
引用
@article{arxiv.2410.21807,
title = {A Fresh Look at Generalized Category Discovery through Non-negative Matrix Factorization},
author = {Zhong Ji and Shuo Yang and Jingren Liu and Yanwei Pang and Jungong Han},
journal= {arXiv preprint arXiv:2410.21807},
year = {2024}
}
备注
13 pages, 8 figures