MER-DG：多模态域泛化的模态熵正则化
机器学习
2026-05-05 v1 计算机视觉与模式识别
摘要
在实际场景中部署多模态模型需要实现对新环境的泛化，其中录制条件与训练条件不同，这被称为多模态域泛化(MMDG)。标准架构为每个模态采用独立编码器并配备融合模块，通过优化融合特征来端到端训练系统。在本文中，我们识别到，标准的联合优化会导致编码器依赖于跨模态共现，这些来自源特定录制条件的统计关系，而非学习域无关特征。我们称之为融合过拟合。为解决此问题，我们提出了用于域泛化的模态熵正则化(MER-DG)，该方法通过最大化每个编码器特征分布的熵来保持特征的多样性。MER-DG是一种与体系结构无关的技术，可作为额外损失项集成到现有的多模态框架中。针对EPIC-Kitchens和HAC基准进行大量实验，显示其在标准融合方法上平均提升约5%，在最新方法上平均提升约2%。
引用
@article{arxiv.2605.01967,
title = {MER-DG: Modality-Entropy Regularization for Multimodal Domain Generalization},
author = {Yavuz Yarici and Ghassan AlRegib},
journal= {arXiv preprint arXiv:2605.01967},
year = {2026}
}