Knowledge Bridger：面向训练免费缺失模态完成的框架
机器学习
2025-06-18 v5 计算机视觉与模式识别
多媒体
摘要
先前成功的缺失模态完成方法依赖于精心设计的融合技术和针对完整数据的大规模预训练，这会限制其在超出域（OOD）情景下的通用性。在本研究中，我们提出了一个新挑战：我们能开发出一种既高效又能鲁棒地处理 OOD 泛化的缺失模态完成模型吗？为此，我们提出了一个基于大型多模态模型（LMMs）的训练免费框架，用于缺失模态完成。我们称之为“Knowledge Bridger”。该方法是模态无关的，并整合了缺失模态的生成与排序。通过定义领域特定的先验条件，我们的方法自动从可用模态中提取结构化信息以构建知识图。这些提取的图通过 LMM 连接缺失模态生成和排序模块， resulting in 高质量的缺失模态填补。跨越通用领域和医学领域的实验结果表明，我们的方法在各种情景下都 consistently 优于竞争方法，包括 OOD 泛化。此外，我们的知识驱动的生成和排序技术优于直接使用 LMM 进行生成和排序的变体，为其他领域的应用提供了有价值的见解。
引用
@article{arxiv.2502.19834,
title = {Knowledge Bridger: Towards Training-free Missing Modality Completion},
author = {Guanzhou Ke and Shengfeng He and Xiao Li Wang and Bo Wang and Guoqing Chao and Yuanyang Zhang and Yi Xie and HeXing Su},
journal= {arXiv preprint arXiv:2502.19834},
year = {2025}
}
备注
Accepted to CVPR 2025