社交自我中心网格估计
计算机视觉与模式识别
2024-11-08 v1
摘要
准确估计自我中心视频序列中相机佩戴者的三维姿态，对于虚拟和增强现实应用中的人体行为建模至关重要。由于头部安装的前置相机导致用户身体可见性有限，该任务面临独特的挑战。近期研究探索了场景和自我运动的利用，但忽视了人类的交互特性。我们提出了一种用于自我中心身体网格估计的新型社交框架（SEE-ME）。我们的方法是首个仅使用潜在概率扩散模型来估计佩戴者网格的方法，该方法以场景为条件，并且首次以社交佩戴者-交互对象交互为条件。我们的深入研究揭示了社交交互在自我中心网格估计中何时最为重要；它量化了人际距离和注视方向的影响。总体而言，SEE-ME 超越了当前最佳技术，将姿态估计误差（MPJPE）降低了 53%。代码可在 https://github.com/L-Scofano/SEEME 获取。
引用
@article{arxiv.2411.04598,
title = {Social EgoMesh Estimation},
author = {Luca Scofano and Alessio Sampieri and Edoardo De Matteis and Indro Spinelli and Fabio Galasso},
journal= {arXiv preprint arXiv:2411.04598},
year = {2024}
}