一种用于多人姿态跟踪的门控注意力 Transformer
计算机视觉与模式识别
2023-08-22 v2
摘要
多人姿态跟踪是许多应用的重要组成,需要估计视频中所有人的人体姿态并随时间进行跟踪。跨帧的姿态关联仍是一个开放的研究问题,尤其对于在线跟踪方法,其成因包括运动模糊、拥挤场景与遮挡。为应对关联挑战,我们提出了一种门控注意力 Transformer。我们模型的核心在于门控机制,该机制在注意力层中自动调整外观嵌入与基于时序姿态相似度的嵌入的影响。为重新识别被遮挡的人员,我们引入了一个姿态条件重识别网络,其提供初始嵌入并允许在帧间可见关节数量不同的情况下匹配人员。我们进一步提出了一种基于门控注意力的匹配层,用于姿态到轨迹的关联与重复去除。我们在 PoseTrack 2018 与 PoseTrack21 上评估了我们的方法。
引用
@article{arxiv.2306.05807,
title = {A Gated Attention Transformer for Multi-Person Pose Tracking},
author = {Andreas Doering and Juergen Gall},
journal= {arXiv preprint arXiv:2306.05807},
year = {2023}
}
备注
Accepted to ICCVW23