特征监督的动作模态迁移
计算机视觉与模式识别
2021-08-10 v1
摘要
本文致力于在仅有少量模态特定标注样本可用时，于RGB、深度图或3D骨架序列等视频模态中进行动作识别与检测。对于RGB及衍生的光流模态，已有许多大规模标注数据集可用。当从标注样本有限的RGB数据集中识别或检测新动作时，它们已成为事实上的预训练选择。遗憾的是，其他模态的大规模标注动作数据集尚不可用以为预训练提供支持。本文中，我们的目标是通过从大规模标注RGB数据学习，从有限样本的非RGB视频模态中识别动作。为此，我们提出两步训练过程：(i)我们从RGB训练的教师网络中提取动作表征知识，并将其适配至非RGB学生网络。(ii)随后我们用目标模态可用的标注样本微调迁移模型。对于知识迁移，我们引入特征监督策略，其依赖两种模态(RGB与目标模态)的无标注配对，将特征级表征从教师网络迁移至学生网络。以两个RGB源数据集与两个非RGB目标数据集进行的消融与泛化实验表明，光流教师相比RGB为深度图与3D骨架均提供了更优的动作迁移特征，即便在异目标域或异任务下评估亦然。相较于其他跨模态动作迁移方法，我们展示了性能的显著提升，尤其在可供学习的标注非RGB样本稀缺时。
引用
@article{arxiv.2108.03329,
title = {Feature-Supervised Action Modality Transfer},
author = {Fida Mohammad Thoker and Cees G. M. Snoek},
journal= {arXiv preprint arXiv:2108.03329},
year = {2021}
}
备注
IEEE International Conference on Pattern Recognition (ICPR), 2020