视觉-语言导航的世界一致性数据生成
计算机视觉与模式识别
2025-06-26 v2
摘要
视觉-语言导航（VLN）是一项具有挑战性的任务，要求智能体在遵循自然语言指令的情况下穿越照片级真实感的环境。VLN 中存在的一个主要障碍是数据稀缺，导致在未见环境上的泛化性能不佳。尽管数据增强是扩展数据集的有前景方法，但如何生成既多样又世界一致的 VLN 数据仍然具有挑战性。为了解决这一问题，我们提出了世界一致性数据生成（WCGEN），一种满足多样性和世界一致性双重要求的有效数据增强框架，旨在增强智能体在新环境上的泛化能力。粗略地说，我们的框架包含两个阶段：轨迹阶段利用基于点云的技术确保视角之间的空间一致性，以及视角阶段采用一种新颖的角度合成方法保证整个观测内的空间与环绕一致性。通过利用 3D 知识准确预测视角变化，我们的方法在生成过程中保持了世界一致性。在广泛数据集上的实验验证了我们方法的有效性，表明我们的数据增强策略使智能体在所有导航任务上取得了新的最先进结果，并能够增强 VLN 智能体在未见环境上的泛化能力。
引用
@article{arxiv.2412.06413,
title = {World-Consistent Data Generation for Vision-and-Language Navigation},
author = {Yu Zhong and Rui Zhang and Zihao Zhang and Shuo Wang and Chuan Fang and Xishan Zhang and Jiaming Guo and Shaohui Peng and Di Huang and Yanyang Yan and Xing Hu and Qi Guo},
journal= {arXiv preprint arXiv:2412.06413},
year = {2025}
}