跟随注意力：结合部分姿态与物体运动进行细粒度动作检测
计算机视觉与模式识别
2019-06-27 v2 机器学习
摘要
零售商长期以来一直在寻找有效理解顾客行为的方法，以提供流畅愉悦的购物体验，从而每天吸引更多顾客并最大化其收益。人类可以通过结合来自活动、手势和面部表情的不同视觉线索来完美理解他人行为。然而，由于内在挑战以及缺乏公开可用数据和独特环境条件（真实场景）等外在困难，赋予计算机视觉系统此种能力仍是一个开放问题。在这项工作中，我们着重检测行为分析中首要且迄今最关键的线索，即计算机视觉中的人体活动检测。为此，我们引入了一种融合人体姿态与物体运动的框架，以细粒度方式（极短且相似的活动）对活动进行时间检测与分类。我们将部分人体姿态和与物体的交互纳入多流神经网络架构，以引导时空注意力机制实现更高效的活动识别。为此，在缺乏姿态监督的情况下，我们提出使用生成对抗网络（GAN）从含噪概率热图生成精确的关节位置。此外，基于复杂动作即使对人类也需要多于一种信息来源才能识别的直觉，我们将物体运动的第二流作为先验知识集成到网络中，并定量表明其改善了识别结果。我们通过在 MERL 购物数据集上取得最先进（state-of-the-art）结果实证展示了方法的能力。我们进一步在一个新收集的购物数据集上探究该方法的有效性，该数据集用于弥补现有不足。
引用
@article{arxiv.1905.04430,
title = {Follow the Attention: Combining Partial Pose and Object Motion for Fine-Grained Action Detection},
author = {Mohammad Mahdi Kazemi Moghaddam and Ehsan Abbasnejad and Javen Shi},
journal= {arXiv preprint arXiv:1905.04430},
year = {2019}
}