E$^3$Pose：基于边缘辅助的多相机节能多人体三维姿态估计系统
计算机视觉与模式识别
2023-01-24 v1 系统与控制
系统与控制
摘要
多人体三维姿态估计在建立现实世界与虚拟世界无缝连接中起着关键作用。近期工作采用两阶段框架，首先从不同视角在多相机视图中构建二维姿态估计，再将其合成为三维姿态。然而，焦点大多在于离线视频数据集上开发新计算机视觉算法，而未充分考虑具有灵活部署和电池供电相机的真实系统的能量约束。本文中，我们提出一种基于边缘辅助的节能多相机系统，称为 EPose，用于实时多人体三维姿态估计，其关键思想为自适应相机选择。与现有工作总是使用所有可用相机执行二维姿态估计不同，EPose 根据各相机视图在遮挡与能量状态方面的质量以自适应方式仅选择相机子集，从而降低能耗（即延长电池寿命）并提高估计精度。为实现该目标，EPose 引入基于注意力的 LSTM 来预测各相机视图的遮挡信息并在选择相机处理场景图像前指导相机选择，并运行基于 Lyapunov 优化框架的相机选择算法以做出长期自适应选择决策。我们在 5 相机测试平台上构建 EPose 原型，证明其可行性并评估其性能。结果表明，在保持与最先进方法相当的高三维姿态估计精度下，可实现显著节能（高达 31.21%）。
引用
@article{arxiv.2301.09015,
title = {E$^3$Pose: Energy-Efficient Edge-assisted Multi-camera System for Multi-human 3D Pose Estimation},
author = {Letian Zhang and Jie Xu},
journal= {arXiv preprint arXiv:2301.09015},
year = {2023}
}