通过对抗判别模态蒸馏利用特权信息学习
计算机视觉与模式识别
2019-07-29 v2
摘要
异构数据模态可为若干任务提供互补线索，通常带来更鲁棒的算法与更优性能。然而，尽管训练数据可精确收集以包含多种感知模态，现实中（测试）部署模型时往往并非所有模态都可用。这引发了如下挑战：在训练阶段如何从多模态数据中提取信息，使其能在测试时被利用，同时考虑噪声或缺失模态等限制。本文针对 RGB-D 视觉任务在这一方向上提出新方法，基于对抗学习与特权信息框架而发展。我们考虑从深度与 RGB 视频中学习表征、而测试时仅依赖 RGB 数据的实际情形。我们提出训练幻觉网络的新方法，其通过对抗学习蒸馏深度信息，形成无需平衡多个损失或超参数的简洁方案。我们在 NYUD 数据集上的物体分类、以及可用于该任务的最大多模态数据集 NTU RGB+D 与 Northwestern-UCLA 上的视频动作识别中报告了最先进（SOTA）结果。
引用
@article{arxiv.1810.08437,
title = {Learning with privileged information via adversarial discriminative modality distillation},
author = {Nuno C. Garcia and Pietro Morerio and Vittorio Murino},
journal= {arXiv preprint arXiv:1810.08437},
year = {2019}
}
备注
Accepted to IEEE Transactions on Pattern Analysis and Machine Intelligence