用于开集动作识别的证据深度学习
计算机视觉与模式识别
2021-08-19 v2
摘要
在真实场景中，人类动作通常超出训练数据的分布，这要求模型既能识别已知动作又能拒绝未知动作。与图像数据不同，由于人类动作不确定的时间动态和静态偏置，视频动作在开集设定下更难以被识别。本文中，我们提出一种深度证据动作识别（DEAR）方法，用于在开测试集中识别动作。具体而言，我们从证据深度学习（EDL）的视角表述动作识别问题，并提出一种新颖的模型校准方法来正则化 EDL 训练。此外，为缓解视频表示的静态偏置，我们提出一个即插即用模块，通过对比学习对所学表示去偏。实验结果表明，我们的 DEAR 方法在多个主流动作识别模型和基准上取得了稳定的性能提升。代码与预训练模型可在 {\small{\url{https://www.rit.edu/actionlab/dear}}} 获取。
引用
@article{arxiv.2107.10161,
title = {Evidential Deep Learning for Open Set Action Recognition},
author = {Wentao Bao and Qi Yu and Yu Kong},
journal= {arXiv preprint arXiv:2107.10161},
year = {2021}
}
备注
ICCV 2021 Oral