面向动作识别的跨模态知识蒸馏
计算机视觉与模式识别
2019-10-11 v1
摘要
在这项工作中，我们解决了一个问题：如何将已在 RGB 视频等模态上训练好的动作识别网络适配到识别如 3D 人体姿态序列等另一模态的动作。为此，我们提取训练好的教师网络在源模态上的知识，并将其迁移到一个用于目标模态的小型学生网络集成中。对于跨模态知识蒸馏，我们不需要任何标注数据，而是使用成对的两种模态序列作为监督信号，这类数据易于获取。与以往使用 KL 损失的知识蒸馏工作不同，我们表明交叉熵损失结合小型学生网络集成的互学习表现更优。事实上，所提出的跨模态知识蒸馏方法几乎达到了全监督训练的学生网络的精度。
引用
@article{arxiv.1910.04641,
title = {Cross-modal knowledge distillation for action recognition},
author = {Fida Mohammad Thoker and Juergen Gall},
journal= {arXiv preprint arXiv:1910.04641},
year = {2019}
}
备注
Published in: 2019 IEEE International Conference on Image Processing (ICIP)