通过贝叶斯优化实现视觉-语言导航中的精细对齐
计算机视觉与模式识别
2024-12-03 v2 计算与语言
机器学习
摘要
本文聚焦于视觉-语言导航（VLN）任务中的精细对齐问题，即机器人基于自然语言指令在逼真的 3D 环境中导航。当前方法使用对比学习将语言与视觉轨迹序列对齐，但面临处理精细视觉负样本的困难。为增强跨模态嵌入，我们引入一种基于贝叶斯优化的对抗优化框架，用于创建精细对比视觉样本。为验证所提方法，我们开展一系列实验评估丰富嵌入在精细视觉负样本上的效果。我们在两个常见 VLN 数据集 R2R 和 REVERIE 上进行实验，实验结果表明，这些嵌入有助于导航，可实现有前景的性能提升。我们的源代码和训练好的模型已提供于: https://anonymous.4open.science/r/FGVLN。
引用
@article{arxiv.2411.14811,
title = {Fine-Grained Alignment in Vision-and-Language Navigation through Bayesian Optimization},
author = {Yuhang Song and Mario Gianni and Chenguang Yang and Kunyang Lin and Te-Chuan Chiu and Anh Nguyen and Chun-Yi Lee},
journal= {arXiv preprint arXiv:2411.14811},
year = {2024}
}