基于模态主导性优化的具身 RGB-红外感知
计算机视觉与模式识别
2026-01-05 v1
摘要
RGB-红外（RGB-IR）多模态感知是复杂物理环境中具身多媒体系统的基本任务。尽管近期的跨模态融合方法在 RGB-IR 检测方面取得进展，但由模态特性不对称导致的优化动力学仍未得到充分探讨。实际情况下，信息密度和特征质量的差异会引入持续的优化偏置，导致训练过度强调主导模态，阻碍有效融合。为量化这一现象，我们提出模态主导性指数（MDI），通过联合建模特征熵和梯度贡献来衡量模态主导程度。基于 MDI，我们开发了基于模态主导性的跨模态学习（MDACL）框架，以调节跨模态优化。MDACL 包含层次化跨模态引导（HCG）以增强特征对齐，以及对抗性均衡正则化（AER）以平衡融合期间的优化动力学。在三个 RGB-IR 数据集上进行大量实验表明，MDACL 有效缓解了优化偏置，实现了 SOTA 性能。
引用
@article{arxiv.2601.00598,
title = {Modality Dominance-Aware Optimization for Embodied RGB-Infrared Perception},
author = {Xianhui Liu and Siqi Jiang and Yi Xie and Yuqing Lin and Siao Liu},
journal= {arXiv preprint arXiv:2601.00598},
year = {2026}
}