DiMPLe -- 解�od 多模态提示学习：通过不变特征与假说特征分离增强类外分布对齐
计算机视觉与模式识别
2025-06-27 v1
摘要
我们引入了 DiMPLe (Disentangled Multi-Modal Prompt Learning)，一种新方法，用于在多模态学习中解�od 不变特征和假说特征。视觉数据中的假说相关性常会阻碍类外分布 (OOD) 性能。与之前专注于图像特征的方法不同，DiMPLe 在保持一致对齐的同时，对视觉和语言模态之间的特征进行解�od，使能够更好地泛化到新类别并对分布偏移具有更强鲁棒性。我们的方法结合了三个关键目标：(1) 不变特征与假说特征之间的相互信息最小化，(2) 假说特征正则化，(3) 对不变特征的对抗学习。大量实验表明，DiMPLe 在 11 个多样化数据集上的平均性能优于 CoOp-OOD，基座类别准确率提升了 15.27，新类别准确率提升了 44.31。
引用
@article{arxiv.2506.21237,
title = {DiMPLe -- Disentangled Multi-Modal Prompt Learning: Enhancing Out-Of-Distribution Alignment with Invariant and Spurious Feature Separation},
author = {Umaima Rahman and Mohammad Yaqub and Dwarikanath Mahapatra},
journal= {arXiv preprint arXiv:2506.21237},
year = {2025}
}