面向均衡多模态信息获取的自适应单模态调节
机器学习
2025-03-25 v1 人工智能
摘要
早期阶段的感官训练对人类发育至关重要。受此认知现象启发，我们观察到早期训练阶段对于多模态学习过程同样重要，在该阶段数据集信息被快速获取。我们将此阶段称为黄金学习窗口。然而，根据我们的观察，多模态学习中的这一黄金学习窗口往往被信息充足的模态所主导，进而抑制了信息不足模态的信息获取。为解决这一问题，我们提出了信息获取调节 (InfoReg)，一种旨在平衡各模态间信息获取的方法。具体而言，InfoReg 在黄金学习窗口期间减慢信息充足模态的信息获取过程，从而促进信息不足模态的信息获取。这种调节实现了更均衡的学习过程，并提升了多模态网络的整体性能。实验表明，InfoReg 在多个数据集上优于相关的多模态不平衡方法，取得了卓越的模型性能。代码可在 https://github.com/GeWu-Lab/InfoReg_CVPR2025 获取。
引用
@article{arxiv.2503.18595,
title = {Adaptive Unimodal Regulation for Balanced Multimodal Information Acquisition},
author = {Chengxiang Huang and Yake Wei and Zequn Yang and Di Hu},
journal= {arXiv preprint arXiv:2503.18595},
year = {2025}
}
备注
10pages, 16 figures, CVPR2025