基于纹理的输入特征选择用于动作识别
计算机视觉与模式识别
2023-04-25 v3
摘要
通过在双流卷积神经网络（CNN）架构中使用运动表示，视频动作识别性能已显著提升。然而，真实场景下的动作识别存在若干挑战性问题，例如视角与姿态的变化以及背景的改变。训练数据与测试数据之间的域差异导致性能下降。为提升模型鲁棒性，我们提出一种新方法以确定输入中增加域差异的与任务无关内容。该方法基于人体解析模型（HP 模型），其联合进行稠密对应标注与语义部位分割。HP 模型的预测还起到使用同一组纹理对每个视频中的人体区域进行重渲染的作用，使所有类别中的人体外观一致。我们生成了修订数据集用于训练与测试，使动作识别模型对输入中的无关内容表现出不变性。此外，HP 模型的预测用于在训练与测试时丰富 AR 模型的输入。实验结果表明，我们提出的模型在 HMDB-51 数据集与 Penn Action 数据集上优于现有动作识别模型。
引用
@article{arxiv.2303.00138,
title = {Texture-Based Input Feature Selection for Action Recognition},
author = {Yalong Jiang},
journal= {arXiv preprint arXiv:2303.00138},
year = {2023}
}