S$^2$Contact：基于图的半监督学习三维手-物接触估计网络
计算机视觉与模式识别
2023-08-04 v2
摘要
尽管近期在手与物体数据集中进行了精确的 3D 标注工作，三维手与物体重建中仍存在差距。现有工作利用接触图来精修不准确的手-物姿态估计，并在给定物体模型下生成抓取。然而，它们需要显式的 3D 监督，而这很少可得，因此受限于受限设定，例如热像仪观察到被操作物体上残留的余热。本文中，我们提出一种新颖的半监督框架，允许从单目图像中学习接触。具体而言，我们利用大规模数据集中的视觉与几何一致性约束在半监督学习中生成伪标签，并提出一种高效的基于图的网络来推断接触。我们的半监督学习框架相比在“有限”标注数据上训练的监督学习方法取得了有利的改进。值得注意的是，与常用的基于 PointNet 的方法相比，我们提出的模型能以少于一半的网络参数与内存访问代价取得更优结果。我们展示了利用约束手-物交互的接触图可产生更精确的重建。我们进一步证明，用伪标签训练可将接触图估计扩展到域外物体，并在多个数据集间更好地泛化。
引用
@article{arxiv.2208.00874,
title = {S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning},
author = {Tze Ho Elden Tse and Zhongqun Zhang and Kwang In Kim and Ales Leonardis and Feng Zheng and Hyung Jin Chang},
journal= {arXiv preprint arXiv:2208.00874},
year = {2023}
}
备注
Accepted to ECCV 2022