基于提示词本地化的 3D 稠密描述与视觉 grounding 统一框架
计算机视觉与模式识别
2024-12-19 v3 人工智能
摘要
3D 视觉 grounding (3DVG) 和 3D 稠密描述 (3DDC) 是各种 3D 应用中至关重要的两个任务, 需要在 localisation 和视觉语言关系中共享和互补的信息。因此, 现有方法采用两阶段 "detect-then-describe/discriminate" 流程, 严重依赖检测器的性能, 导致次优结果。灵感来自 DETR, 我们提出统一框架 3DGCTR, 以 end-to-end 方式联合解决这两个 distinct but closely related 的任务。关键思想是重新考虑 3DVG 模型的提示词 localisation 能力。通过将 3DVG 模型作为输入提供 well-designed prompt, 可帮助 3DDC 任务从提示中提取 localisation 信息。在实现方面, 我们将 Lightweight Caption Head 集成到现有 3DVG 网络中, 通过 Caption Text Prompt 作为连接, 有效利用现有 3DVG 模型固有的 localisation 能力，从而提升 3DDC 能力。该集成促进了两个任务的同步多任务训练, 相互增强其性能。大量实验结果表明该方法有效。具体而言, 在 ScanRefer 数据集上, 3DGCTR 在 MLE 训练中以 4.3% 的 [email protected] 超越最新 3DDC 方法, 并在 [email protected] 上比最新 3DVG 方法提升 3.16%。代码地址为 https://github.com/Leon1207/3DGCTR。
引用
@article{arxiv.2404.11064,
title = {Rethinking 3D Dense Caption and Visual Grounding in A Unified Framework through Prompt-based Localization},
author = {Yongdong Luo and Haojia Lin and Xiawu Zheng and Yigeng Jiang and Fei Chao and Jie Hu and Guannan Jiang and Songan Zhang and Rongrong Ji},
journal= {arXiv preprint arXiv:2404.11064},
year = {2024}
}