ShaRPy：基于RGB-D的不确定性形状重建与手部姿态估计
计算机视觉与模式识别
2023-09-13 v2
摘要
尽管具有潜力，无标记手部追踪技术尚未在实际中用于炎症性肌肉骨骼疾病的活动诊断或监测。原因之一在于多数方法侧重于重建粗糙、貌似合理的姿态，而在临床情境下需要准确、可解释且可靠的结果。因此，我们提出 ShaRPy，首个 RGB-D 形状重建与手部姿态追踪系统，其提供所计算姿态的不确定性估计（例如当某手指被遮挡或其估计与输入观测不一致时），以辅助临床决策。除姿态外，ShaRPy 还逼近个性化手部形状，促进对其数字孪生的更真实直观理解。我们的方法仅需单台消费级 RGB-D 相机的轻量设置，却能在度量准确空间中区分仅有关节角微小偏差的相似姿态。这是通过将数据驱动的稠密对应预测器与传统能量最小化相结合实现的。为弥合交互式可视化与生物医学仿真之间的鸿沟，我们采用参数化手部模型，在其中融入生物医学约束并同时优化其姿态与手部形状。我们在关键点检测基准上评估 ShaRPy，并展示用于肌肉骨骼疾病活动监测的手部功能评估定性结果。
引用
@article{arxiv.2303.10042,
title = {ShaRPy: Shape Reconstruction and Hand Pose Estimation from RGB-D with Uncertainty},
author = {Vanessa Wirth and Anna-Maria Liphardt and Birte Coppers and Johanna Bräunig and Simon Heinrich and Sigrid Leyendecker and Arnd Kleyer and Georg Schett and Martin Vossiek and Bernhard Egger and Marc Stamminger},
journal= {arXiv preprint arXiv:2303.10042},
year = {2023}
}
备注
Accepted at ICCVW (CVAMD) 2023