ICYM2I：缺失性下多模态信息丰富性的幻觉
机器学习
2026-03-03 v3 机器学习
摘要
多模态学习持续受到人工智能中应用的关注，这是由于结合不同数据模态可能带来信息增益的潜在价值。然而，源环境中观察到的模态可能与目标环境中观察到的模态不同，这种差异可能源于多种因素，包括成本、硬件故障或对给定模态“信息丰富性”的感知。源环境和目标环境之间缺失模式的这种变化尚未受到充分关注。在不考虑缺失性的情况下对包含额外模态的相关信息增益进行粗略估计，可能导致对该模态在目标环境中价值的不当估计。我们形式化了缺失问题，展示了其普遍性，并说明随之而来的分布迁移会在缺失过程未被显式考虑时导致偏差。为了解决这个问题，我们引入ICYM2I（In Case You Multimodal Missed It），通过逆概率加权（IPW）基于修正的方法，构建用于在缺失情况下评估预测性能和信息增益的框架。我们在合成数据、准合成数据和真实世界数据集上演示了该提议调整的重要性，以估计缺失情况下的信息增益。
引用
@article{arxiv.2505.16953,
title = {ICYM2I: The illusion of multimodal informativeness under missingness},
author = {Young Sang Choi and Vincent Jeanselme and Pierre Elias and Shalmali Joshi},
journal= {arXiv preprint arXiv:2505.16953},
year = {2026}
}
备注
Published as a conference paper at ICLR 2026