通过冗余大语言模型语义的内在学习实现面向未见域的广义零样本学习
计算机视觉与模式识别
2025-03-11 v5
摘要
广义零样本学习（GZSL）专注于在域偏移问题下识别已见类和未见类，其中未见类的数据可能被误分类为已见类。然而，现有的GZSL仍局限于已见域。在当前工作中，我们研究了跨域GZSL（CDGZSL），它解决了面向未见域的GZSL问题。与现有的GZSL方法不同，CDGZSL构建了一个跨域的共同特征空间，并获取域间共享的相应内在语义，以实现从已见域到未见域的迁移。考虑到由大语言模型（LLMs）标注的冗余类语义所导致的信息不对称问题，我们提出了元域对齐语义精炼（MDASR）。技术上，MDASR包含两部分：类间相似性对齐，它在类间特征关系的引导下，消除并非所有域共享的非内在语义；以及未见类元生成，它通过模拟特征生成来保留内在语义，以维持已见类和未见类之间的连通性。MDASR有效地将冗余语义空间与共同特征空间对齐，缓解了CDGZSL中的信息不对称问题。MDASR的有效性在Office-Home和Mini-DomainNet两个数据集上得到了验证，并且我们已公开了这些数据集基于LLM的语义作为基准。
引用
@article{arxiv.2403.14362,
title = {Enabling Generalized Zero-shot Learning Towards Unseen Domains by Intrinsic Learning from Redundant LLM Semantics},
author = {Jiaqi Yue and Chunhui Zhao and Jiancheng Zhao and Biao Huang},
journal= {arXiv preprint arXiv:2403.14362},
year = {2025}
}