模态竞争：深度学习中多模态网络联合训练为何失败？（可证明）
机器学习
2022-03-24 v1
摘要
尽管深度多模态学习在实践中取得了显著成功，其在理论上尚未得到充分解释。近来观察到最优单模态网络优于联合训练的多模态网络，这有悖直觉，因为多信号通常带来更多信息。本工作为流行联合训练框架中神经网络出现此类性能差距提供了理论解释。基于一个捕捉多模态数据现实属性的简化数据分布，我们证明对于由（平滑）ReLU激活函数构成、通过梯度下降联合训练的多模态后期融合网络，不同模态将相互竞争。编码器网络将仅学习模态的一个子集。我们将此现象称为模态竞争。未能被发现的失败模态正是联合训练次优性的根源。在实验上，我们说明了模态竞争与后期融合联合训练的内在行为相符。
引用
@article{arxiv.2203.12221,
title = {Modality Competition: What Makes Joint Training of Multi-modal Network Fail in Deep Learning? (Provably)},
author = {Yu Huang and Junyang Lin and Chang Zhou and Hongxia Yang and Longbo Huang},
journal= {arXiv preprint arXiv:2203.12221},
year = {2022}
}
备注
41 pages, 2 figures