基于深度双流 CNN 架构的多人时空动作检测中的注意力过滤
计算机视觉与模式识别
2019-07-31 v1 机器学习
机器学习
摘要
动作检测与识别任务因其在安防、机器人与推荐系统等众多应用，一直是计算机视觉界关注的焦点。近来，AVA 等数据集带来了多人、多标签、时空动作检测与识别挑战。当视觉任务涉及多人与多标签时，双流 CNN 方法无法辨别应使用输入的哪些部分进行分类，是一大局限。我们针对该局限并提升双流 CNN 的当前最优性能。本文给出四项贡献：突出分类目标而不丢弃背景的中央凹注意力过滤；为 AVA 数据集设计的广义二元损失函数；miniAVA，AVA 的一个分区，保持时间连续性与类别分布且仅为原数据集规模的十分之一；以及针对替代注意力过滤的消融研究。我们的方法采用中央凹注意力过滤与广义二元损失，在 AVA 上相较双流基线取得相对视频 mAP 20% 的提升，并在 UCF101-24 上与当前最优水平相当。我们还显示，相较标准 sigmoid 求和，使用广义二元损失取得相对视频 mAP 12.6% 的提升。
引用
@article{arxiv.1907.12919,
title = {Attention Filtering for Multi-person Spatiotemporal Action Detection on Deep Two-Stream CNN Architectures},
author = {João Antunes and Pedro Abreu and Alexandre Bernardino and Asim Smailagic and Daniel Siewiorek},
journal= {arXiv preprint arXiv:1907.12919},
year = {2019}
}