3DAxiesPrompts：释放 GPT-4V 的 3D 空间任务能力
人工智能
2023-12-18 v1
摘要
在这项工作中，我们提出了一种名为 3DAxiesPrompts (3DAP) 的新型视觉提示方法，以释放 GPT-4V 在执行 3D 空间任务方面的能力。我们的调查表明，尽管 GPT-4V 通过当前的视觉提示技术展现出了辨别 2D 实体位置及相互关系的能力，但其在处理 3D 空间任务方面的能力尚未被探索。在我们的方法中，我们创建了一个专为 3D 图像量身定制的 3D 坐标系，并带有标注的比例信息。通过将注入 3DAP 视觉提示的图像作为输入，我们使 GPT-4V 能够高精度地确定给定 3D 目标图像的空间位置信息。通过实验，我们确定了使用 3DAP 方法可以稳定完成的三个任务，即 2D 到 3D 点重建、2D 到 3D 点匹配和 3D 目标检测。我们在我们提出的数据集 3DAP-Data 上进行了实验，这些实验的结果验证了 3DAP 增强的 GPT-4V 输入的有效性，标志着在 3D 空间任务执行方面迈出了重要一步。
引用
@article{arxiv.2312.09738,
title = {3DAxiesPrompts: Unleashing the 3D Spatial Task Capabilities of GPT-4V},
author = {Dingning Liu and Xiaomeng Dong and Renrui Zhang and Xu Luo and Peng Gao and Xiaoshui Huang and Yongshun Gong and Zhihui Wang},
journal= {arXiv preprint arXiv:2312.09738},
year = {2023}
}