面向增强多模态学习的分类器引导梯度调制
机器学习
2024-11-05 v1 计算与语言
计算机视觉与模式识别
摘要
近年来，多模态学习发展迅猛。然而，在多模态训练过程中，模型倾向于仅依赖其中一种模态以加快学习速度，从而导致其他模态被充分利用不足。现有方法在损失函数、优化器和模态数量方面总有局限，仅考虑梯度幅度的调制，却忽略了梯度方向。为解决这些问题，本文提出一种新方法，即基于分类器引导的梯度调制（Classifier-Guided Gradient Modulation, CGGM），综合考虑梯度的幅度与方向。我们在四个多模态数据集上进行大量实验：UPMC-Food 101、CMU-MOSI、IEMOCAP和BraTS 2021，涵盖分类、回归和分割任务。结果表明，CGGM consistently优于所有基线方法以及其他前沿方法，显示其有效性和通用性。我们的代码已公开于https://github.com/zrguo/CGGM。
引用
@article{arxiv.2411.01409,
title = {Classifier-guided Gradient Modulation for Enhanced Multimodal Learning},
author = {Zirun Guo and Tao Jin and Jingyuan Chen and Zhou Zhao},
journal= {arXiv preprint arXiv:2411.01409},
year = {2024}
}
备注
Accepted at NeurIPS 2024