PointHPS：基于点云级联式的三维人体姿态与形状估计
计算机视觉与模式识别
2023-08-29 v1
摘要
人体姿态与形状估计（HPS）近年来受到越来越多的关注。尽管现有研究多聚焦于从具有固有深度模糊性的 2D 图像或视频进行 HPS，但随着深度传感器在商用设备中的频繁使用，从 3D 点云研究 HPS 的需求正迅速增长。然而，真实传感 3D 点通常含噪且不完整，且人体可能具有高度多样性的不同姿态。为应对这些挑战，我们提出一个原则性框架 PointHPS，用于从真实场景捕获的点云中精确进行 3D HPS，其通过级联架构迭代精炼点特征。具体而言，PointHPS 的每个阶段执行一系列下采样与上采样操作以提取并整理局部与全局线索，并由两个新颖模块进一步增强：1）跨阶段特征融合（CFF），用于多尺度特征传播，使信息在阶段间有效流动；2）中间特征增强（IFE），用于身体感知特征聚合，以提升每阶段后的特征质量。为支持多场景下综合研究，我们在两个大规模基准上开展实验，包括 i）在实验室环境中由真实商用传感器捕获、具有多样主体与动作的数据集，以及 ii）考虑如拥挤户外场景中着衣人体等真实因素生成的受控合成数据。大量实验表明，凭借强大的点特征提取与处理方案，PointHPS 以显著优势全面超越 SOTA 方法。主页：https://caizhongang.github.io/projects/PointHPS/。
引用
@article{arxiv.2308.14492,
title = {PointHPS: Cascaded 3D Human Pose and Shape Estimation from Point Clouds},
author = {Zhongang Cai and Liang Pan and Chen Wei and Wanqi Yin and Fangzhou Hong and Mingyuan Zhang and Chen Change Loy and Lei Yang and Ziwei Liu},
journal= {arXiv preprint arXiv:2308.14492},
year = {2023}
}