用于 3D 人体姿态估计的主动多摄像机协作
计算机视觉与模式识别
2023-03-08 v1 机器学习
多智能体系统
摘要
本文提出一种多智能体强化学习（MARL）方案，用于动态人群 3D 人体姿态估计中的主动多摄像机协作。传统固定视点多摄像机人体运动捕捉（MoCap）方案受限于捕捉空间且易受动态遮挡影响。主动摄像机方法主动控制摄像机位姿以寻找 3D 重建的最优视点。然而，现有方法仍面临信用分配与环境动态的挑。为解决这些问题，我们提出的方法引入了一种新颖的协作三角化贡献奖励（CTCR），可改善收敛并缓解因使用 3D 重建精度作为共享奖励而产生的多智能体信用分配问题。此外，我们将模型与多个世界动态学习任务联合训练，以更好地捕捉环境动态并鼓励用于遮挡避免的预期行为。我们在四个照片级真实 UE4 环境中评估所提方法以确保有效性与泛化性。实证结果表明，在不同摄像机数与人数场景下的各类设定中，我们的方法优于固定与主动基线。
引用
@article{arxiv.2303.03767,
title = {Proactive Multi-Camera Collaboration For 3D Human Pose Estimation},
author = {Hai Ci and Mickel Liu and Xuehai Pan and Fangwei Zhong and Yizhou Wang},
journal= {arXiv preprint arXiv:2303.03767},
year = {2023}
}
备注
ICLR 2023 poster