知识即先验：面向无优质模态数据的跨模态知识泛化
计算机视觉与模式识别
2020-04-02 v1
摘要
跨模态知识蒸馏旨在将使用优质模态（教师）训练的模型中的知识迁移到使用弱模态（学生）训练的另一种模型。现有方法要求两种模态均存在配对训练样本。然而，获取优质模态的数据并非总是可行。例如，在 3D 手部姿态估计中，深度图、点云或立体图像通常比 RGB 图像能更好地捕捉手部结构，但其中大多数采集成本高昂。本文提出一种新颖方案，在教师不可用的目标数据集中训练学生。我们的核心思想是将从包含两种模态配对样本的源数据集中学到的蒸馏跨模态知识，通过把知识建模为学生参数的先验，泛化到目标数据集。我们将该方法命名为“跨模态知识泛化”（Cross-Modal Knowledge Generalization），并证明我们的方案在标准基准数据集上取得了具有竞争力的 3D 手部姿态估计性能。
引用
@article{arxiv.2004.00176,
title = {Knowledge as Priors: Cross-Modal Knowledge Generalization for Datasets without Superior Knowledge},
author = {Long Zhao and Xi Peng and Yuxiao Chen and Mubbasir Kapadia and Dimitris N. Metaxas},
journal= {arXiv preprint arXiv:2004.00176},
year = {2020}
}
备注
In CVPR 2020. (15 pages including supplementary material)