ScanRefer：利用自然语言在 RGB-D 扫描中实现三维物体定位
计算机视觉与模式识别
2020-11-12 v3 计算与语言
机器学习
图像与视频处理
摘要
我们提出了利用自然语言描述在 RGB-D 扫描中进行三维物体定位的任务。作为输入，我们假设有一个已扫描三维场景的点云以及关于指定目标物体的自由形式描述。为应对该任务，我们提出 ScanRefer，从三维物体提议和编码后的句子嵌入中学习一个融合描述符。该融合描述符将语言表达与几何特征相关联，从而能够对目标物体的三维边界框进行回归。我们还引入了 ScanRefer 数据集，包含来自 800 个 ScanNet 场景的 11,046 个物体的 51,583 条描述。ScanRefer 是首个直接在三维中通过自然语言表述进行物体定位的大规模尝试。
引用
@article{arxiv.1912.08830,
title = {ScanRefer: 3D Object Localization in RGB-D Scans using Natural Language},
author = {Dave Zhenyu Chen and Angel X. Chang and Matthias Nießner},
journal= {arXiv preprint arXiv:1912.08830},
year = {2020}
}
备注
Project page: https://daveredrum.github.io/ScanRefer/