低质量视频上动作识别模型的性能评估
计算机视觉与模式识别
2022-11-15 v2
摘要
在动作识别模型的设计中，视频质量是一个重要问题；然而，质量与性能之间的权衡常被忽视。一般而言，动作识别模型在高质量视频上训练，因此未知当在低质量视频上测试时模型性能下降多少，以及训练视频的质量对性能的影响程度。视频质量问题很重要，但迄今为止尚未被研究。本研究的目的是通过对若干动作识别模型在不同质量的转码视频上进行定量性能评估，展示训练与测试视频的性能和质量之间的权衡。首先，我们展示视频质量如何影响预训练模型的性能。我们通过改变 JPEG（压缩强度）和 H.264/AVC（CRF）的质量控制参数对 Kinetics400 的原始验证视频进行转码。然后使用转码视频验证预训练模型。其次，我们展示模型在转码视频上训练时的表现。我们通过改变 JPEG 和 H.264/AVC 的质量参数对 Kinetics400 的原始训练视频进行转码。然后在转码训练视频上训练模型，并用原始和转码验证视频进行验证。JPEG 转码的实验结果表明，在压缩强度小于 70（视觉上未观察到质量下降）时性能无严重下降（至多 -1.5%），而在大于 80 时性能随质量指数线性下降。H.264/AVC 转码的实验表明，在 CRF30 下性能无显著损失（至多 -1%），而视频文件总大小减少至 30%。
引用
@article{arxiv.2204.09166,
title = {Performance Evaluation of Action Recognition Models on Low Quality Videos},
author = {Aoi Otani and Ryota Hashiguchi and Kazuki Omi and Norishige Fukushima and Toru Tamaki},
journal= {arXiv preprint arXiv:2204.09166},
year = {2022}
}
备注
IEEE Access, vol. 10, pp. 94898-94907, 2022