面向具有特权模态动作检测的图像蒸馏
计算机视觉与模式识别
2018-07-31 v2
摘要
我们提出一种技术，在仅有限训练数据和部分观测模态可用的现实且具挑战性的条件下处理多模态视频中的动作检测。迁移学习中的常用方法未利用源域中可能可用的额外模态。另一方面，先前多模态学习的工作仅关注单一域或任务，且未处理训练与测试间的模态差异。本工作中，我们提出称为图蒸馏（graph distillation）的方法，其融入源域大规模多模态数据集的丰富特权信息，并改善目标域中训练数据与模态均稀缺的学习。我们在多模态视频的动作分类与检测任务上评估我们的方法，并表明我们的模型在 NTU RGB+D 与 PKU-MMD 基准上大幅优于 SOTA。代码发布于 http://alan.vision/eccv18_graph/。
引用
@article{arxiv.1712.00108,
title = {Graph Distillation for Action Detection with Privileged Modalities},
author = {Zelun Luo and Jun-Ting Hsieh and Lu Jiang and Juan Carlos Niebles and Li Fei-Fei},
journal= {arXiv preprint arXiv:1712.00108},
year = {2018}
}
备注
ECCV 2018