DMCL：面向多模态动作识别的蒸馏多选学习
计算机视觉与模式识别
2019-12-24 v1
摘要
在这项工作中，我们解决利用多模态数据学习专家网络集成的问题，同时考虑测试时可能存在模态缺失这一现实且具挑战性的场景。我们的目标是通过多模态的互补信息惠及集成及各个独立网络。我们提出了一种新颖的面向多模态数据的蒸馏多选学习（Distillation Multiple Choice Learning）框架，其中不同模态网络在协作设定下从零开始相互学习、彼此增强。由于其他模态的指导，使用我们的方法学习到的模态网络比单独训练时达到显著更高的准确率。我们在三个视频动作识别基准数据集上评估该方法。与测试时处理模态缺失的其他方法相比，我们取得了最先进的（SOTA）结果。
引用
@article{arxiv.1912.10982,
title = {DMCL: Distillation Multiple Choice Learning for Multimodal Action Recognition},
author = {Nuno C. Garcia and Sarah Adel Bargal and Vitaly Ablavsky and Pietro Morerio and Vittorio Murino and Stan Sclaroff},
journal= {arXiv preprint arXiv:1912.10982},
year = {2019}
}