EgoSim：用于运动和活动的以身穿戴式摄像机的仿真器与真实数据集
计算机视觉与模式识别
2025-02-26 v1 人工智能
机器学习
摘要
计算机视觉中以身佩戴式摄像机的研究主要聚焦于头部安装的摄像机，如鱼眼摄像机或沉浸式头戴式设备内置的摄像机。我们认为，随着光学传感器 miniaturization 水平的提升，摄像机将广泛集成到更多的身穿戴式设备中，并分布在多个位置。这将为计算机视觉中的既定任务带来新的视角，并有助于人体运动跟踪、身体姿态估计或动作识别等关键领域的发展——尤其是下半身，这些任务通常面临遮挡问题。本文介绍了 EgoSim，这是一个新的身穿戴式摄像机仿真器，能够从佩戴者身体多个部位生成逼真的以身为中心的渲染图像。EgoSim 的一个关键特点是利用真实的运动捕捉数据来渲染运动伪影因而尤其在手臂或腿部佩戴摄像机时更为明显。此外，我们引入了 MultiEgoView，这是一个包含来自六个身穿戴式摄像机的以身为中心录像数据集，以及在多项活动期间的完整身体 3D 位姿真实标注。数据集来源于 AMASS 运动序列的 119 小时的资料，来自四个高保真虚拟环境；我们还增补了 5 小时的真实世界运动数据，来自 13 名参与者使用六个 GoPro 摄像机，以及来自 Xsens 动作捕捉套装的 3D 身体姿态参考。我们通过训练一个基于视频的端到端 3D 姿态估计网络来展示 EgoSim 的有效性。分析其域间差距，我们表明该数据集和仿真器在处理真实世界数据时能显著提升训练效果。EgoSim 代码与 MultiEgoView 数据集：https://siplab.org/projects/EgoSim
引用
@article{arxiv.2502.18373,
title = {EgoSim: An Egocentric Multi-view Simulator and Real Dataset for Body-worn Cameras during Motion and Activity},
author = {Dominik Hollidt and Paul Streli and Jiaxi Jiang and Yasaman Haghighi and Changlin Qian and Xintong Liu and Christian Holz},
journal= {arXiv preprint arXiv:2502.18373},
year = {2025}
}