TOCH：用于运动细化的时空手-物对应关系
计算机视觉与模式识别
2023-10-30 v3
摘要
我们提出了 TOCH，一种利用数据先验细化不正确三维手-物交互序列的方法。现有的手部追踪器，尤其是那些依赖极少摄像头的追踪器，常常产生手-物相交或缺失接触等视觉上不真实的结果。尽管纠正此类错误需要对交互的时间方面进行推理，但大多数先前的工作都集中在静态抓取和接触上。我们方法的核心是 TOCH 场，这是一种新颖的时空表示，用于建模交互过程中手与物体之间的对应关系。TOCH 场是一种逐点、以物体为中心的表示，编码了手相对于物体的位置。利用这种新颖的表示，我们通过时序去噪自编码器学习了一个合理 TOCH 场的潜在流形。实验表明，TOCH 优于仅限于静态抓取和接触的最先进的三维手-物交互模型。更重要的是，我们的方法即使在接触前后也能产生平滑的交互。使用单个训练好的 TOCH 模型，我们定量和定性地证明了其在纠正现成 RGB/RGB-D 手-物重建方法的错误序列以及跨物体迁移抓取方面的实用性。
引用
@article{arxiv.2205.07982,
title = {TOCH: Spatio-Temporal Object-to-Hand Correspondence for Motion Refinement},
author = {Keyang Zhou and Bharat Lal Bhatnagar and Jan Eric Lenssen and Gerard Pons-Moll},
journal= {arXiv preprint arXiv:2205.07982},
year = {2023}
}