PressureVision++:从多样化 RGB 图像估计指尖压力
计算机视觉与模式识别
2024-01-04 v3
摘要
触觉在人类操作中起基础作用;然而,机器对接触与压力的感知通常需要侵入式传感器。近期研究表明深度模型可基于单张 RGB 图像估计手部压力。然而,由于难以收集带真值压力测量的多样化数据,评估仅限于受控设置。我们提出一种新方法,仅需 RGB 相机与一名配合参与者即可捕获多样化数据。我们的关键见解是,可提示人以特定方式施加压力,且该提示可作为弱标签来监督模型在多变条件下表现良好。我们收集了一个由 51 名参与者用指尖接触多样化物体的新数据集。我们的网络 PressureVision++ 优于人类标注者与先前工作。我们还展示了 PressureVision++ 在混合现实中的应用,其中压力估计使日常表面可用作任意触摸敏感界面。代码、数据与模型已在线提供。
引用
@article{arxiv.2301.02310,
title = {PressureVision++: Estimating Fingertip Pressure from Diverse RGB Images},
author = {Patrick Grady and Jeremy A. Collins and Chengcheng Tang and Christopher D. Twigg and Kunal Aneja and James Hays and Charles C. Kemp},
journal= {arXiv preprint arXiv:2301.02310},
year = {2024}
}
备注
WACV 2024