利用 MLLM 嵌入与属性平滑进行组合零样本学习
计算机视觉与模式识别
2025-06-10 v2 人工智能
摘要
组合零样本学习（CZSL）旨在识别从已见组合中学习到的属性与物体的新组合。以往的工作通过提取共享相同属性（或物体）的图像对之间的共享和独有部分来解耦属性和物体，并将它们与预训练词嵌入对齐以改进未见属性-物体识别。尽管现有方法取得了显著成就，但它们受到三个局限性的阻碍：（1）由于背景的影响以及属性与物体在同一部分错综复杂的纠缠，解耦的有效性受损。（2）现有的词嵌入无法捕捉复杂的多模态语义信息。（3）现有模型在已见组合上表现出的过度自信阻碍了它们向新组合的泛化。意识到这些问题，我们提出了一种名为 MLLM 嵌入与属性平滑引导解耦的 CZSL 新框架。首先，我们利用特征自适应聚合模块来减轻背景的影响，并利用可学习的条件掩码来捕捉多粒度特征以进行解耦。此外，采用 MLLM 的最后隐藏状态作为词嵌入，以其卓越的表示能力。进一步地，我们提出利用大型语言模型（LLM）为已见组合生成辅助属性的属性平滑方法，以解决过度自信挑战。大量实验表明，我们的方法在三个具有挑战性的数据集上取得了 SOTA 性能。源代码将在 https://github.com/xud-yan/Trident 提供。
引用
@article{arxiv.2411.12584,
title = {Leveraging MLLM Embeddings and Attribute Smoothing for Compositional Zero-Shot Learning},
author = {Xudong Yan and Songhe Feng and Yang Zhang and Jian Yang and Yueguan Lin and Haojun Fei},
journal= {arXiv preprint arXiv:2411.12584},
year = {2025}
}
备注
Accepted by IJCAI 2025