CHORD：基于形状形变的类别级手持物体重建
计算机视觉与模式识别
2023-08-22 v1
摘要
在日常生活中，人类利用手来操控物体。对由手操控的物体形状进行建模，对于人工智能理解日常任务并学习操控技能至关重要。然而，以往的方法在重建手持物体的精确形状方面遭遇困难，主要源于形状先验知识的缺乏以及训练数据的不足。如图所示，给定某一类工具（如杯子），尽管其在形状与外观上有无限变化，人类对其操控仅有数量有限的“有效”模式与姿态。这可归因于人类已掌握了“杯子”类别的形状先验，并能快速建立不同杯子实例与该先验之间的对应关系，例如杯口与把手位于何处。有鉴于此，我们提出一种新方法 CHORD，用于通过形状形变实现类别级手持物体重建（Category-level Hand-held Object Reconstruction via shape Deformation）。CHORD 形变类别形状先验以重建类内物体。为确保精确重建，我们赋予 CHORD 三种感知能力：外观、形状与交互姿态。此外，我们构建了一个新数据集 COMIC，用于类别级手-物交互。COMIC 包含丰富的物体实例、材质、手部交互与视角方向。大量评估表明，CHORD 在定量与定性指标上均优于当前最优方法。代码、模型与数据集见 https://kailinli.github.io/CHORD。
引用
@article{arxiv.2308.10574,
title = {CHORD: Category-level Hand-held Object Reconstruction via Shape Deformation},
author = {Kailin Li and Lixin Yang and Haoyu Zhen and Zenan Lin and Xinyu Zhan and Licheng Zhong and Jian Xu and Kejian Wu and Cewu Lu},
journal= {arXiv preprint arXiv:2308.10574},
year = {2023}
}
备注
To be presented at ICCV 2023, Paris