迈向3D VR草图到3D形状检索
计算机视觉与模式识别
2024-02-20 v2
摘要
不断增长的免费在线3D形状集合推动了3D检索研究。然而关于（i）触发检索的最佳输入模态为何，以及（ii）此类检索的最终使用场景为何，一直存在活跃争论。本文对回答这些问题提供不同视角——我们研究以3D草图作为输入模态，并倡导一种进行检索的VR场景。因此最终愿景是用户可在VR环境中通过空中涂鸦自由检索3D模型。作为解决这一新型3D VR草图到3D形状检索问题的首次尝试，我们做出四点贡献。首先，我们编写了一个VR工具以收集3D VR草图并进行检索。其次，我们从ModelNet的两个形状类别上收集了首组个3D VR草图。第三，我们提出一种新方法生成具不同抽象程度类人3D草图的合成数据集以训练深度网络。最后，我们比较了常见的多视图与体素方法：我们表明，与3D形状到3D形状检索相反，由于3D VR草图的稀疏与抽象本质，基于体素点的方法在3D草图到3D形状检索上展现出更优性能。我们相信这些贡献将共同作为未来解决该问题的赋能因素。VR界面、代码与数据集可在 https://tinyurl.com/3DSketch3DV 获取。
引用
@article{arxiv.2209.10020,
title = {Towards 3D VR-Sketch to 3D Shape Retrieval},
author = {Ling Luo and Yulia Gryaditskaya and Yongxin Yang and Tao Xiang and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2209.10020},
year = {2024}
}