PMR:面向多模态学习的原型模态再平衡
机器学习
2022-11-15 v1
摘要
多模态学习(MML)旨在联合利用不同模态的共同先验以补偿其固有局限。然而,现有MML方法常对不同模态优化统一目标,导致臭名昭著的“模态失衡”问题及适得其反的MML性能。为解决该问题,一些现有方法基于融合模态调节学习节奏,而融合模态由较优模态主导,最终对较差模态的改进有限。为更好利用多模态特征,我们提出原型模态再平衡(PMR),以对其他模态无干扰地刺激特定慢学习模态。具体而言,我们引入代表每类通用特征的原型,为单模态性能评估构建非参数分类器。然后,我们通过增强慢学习模态向原型的聚类来加速之。此外,为缓解主导模态的抑制,我们在训练早期引入基于原型的熵正则项以防止过早收敛。再者,我们的方法仅依赖各模态的表示,不受模型结构与融合方式限制,使其在各种场景具巨大应用潜力。
引用
@article{arxiv.2211.07089,
title = {PMR: Prototypical Modal Rebalance for Multimodal Learning},
author = {Yunfeng Fan and Wenchao Xu and Haozhao Wang and Junxiao Wang and Song Guo},
journal= {arXiv preprint arXiv:2211.07089},
year = {2022}
}
备注
10 pages,4 figures