基于区域展开Transformer的非刚体物体接触估计
计算机视觉与模式识别
2023-08-31 v2
摘要
获取手与非刚体物体之间的接触模式是视觉与机器人领域共同关注的问题。然而，现有的基于学习的方法更多关注从单目图像中与刚体的接触。当将其用于非刚体接触时，一个主要问题是现有接触表示受物体几何形状限制。因此，接触邻域以无序方式存储，且接触特征难以与图像线索对齐。我们方法的核心是一种称为RUPs（区域展开轮廓，Region Unwrapping Profiles）的新型手-物接触表示，其将粗略估计的手-物表面展开为多个高分辨率2D区域轮廓。区域分组策略与手部运动学骨骼划分一致，因为它们是复合接触模式的原始发起者。基于此表示，我们的区域展开Transformer（RUFormer）从单目输入中学习跨区域的相关性先验，并预测相应的接触与形变变换。我们的实验表明，所提框架能鲁棒估计形变程度与形变变换，使其适用于非刚体与刚体接触。
引用
@article{arxiv.2308.14074,
title = {Nonrigid Object Contact Estimation With Regional Unwrapping Transformer},
author = {Wei Xie and Zimeng Zhao and Shiying Li and Binghui Zuo and Yangang Wang},
journal= {arXiv preprint arXiv:2308.14074},
year = {2023}
}
备注
Accepted by ICCV2023