通过激进模态 Dropout 实现从负向到正向的协同学习
计算与语言
2025-01-03 v1 机器学习
摘要
本文旨在记录一种通过使用激进模态 dropout 来改进多模态协同学习的有效方法。我们发现，通过使用激进模态 dropout，我们能够将负向协同学习（NCL）逆转为正向协同学习（PCL）。激进模态 dropout 可用于为单模态部署“预热”多模态模型，并在负向协同学习期间显著提升模型性能，在某些实验中我们观察到准确率提升了 20%。我们还将我们的模态 dropout 技术与 PCL 进行了基准对比，以表明我们的模态 dropout 技术在 PCL 期间也能改进协同学习，尽管其效果不如在 NCL 期间那样显著。Github: https://github.com/nmagal/modality_drop_for_colearning
引用
@article{arxiv.2501.00865,
title = {Negative to Positive Co-learning with Aggressive Modality Dropout},
author = {Nicholas Magal and Minh Tran and Riku Arakawa and Suzanne Nie},
journal= {arXiv preprint arXiv:2501.00865},
year = {2025}
}