使用链路思考提示生成可控导航指令
计算机视觉与模式识别
2024-11-05 v2 人工智能
摘要
指令生成是具有广泛应用的多学科研究领域。现有的指令生成模型仅能生成单一数据集风格下的指令，无法控制生成指令的风格和内容。此外，大多数现有指令生成方法也忽略了导航环境的空间建模。利用大型语言模型（LLM）的能力，我们提出了 C-Instructor，采用链路思考（Chain of Thought）风格的提示实现风格可控和内容可控的指令生成。首先，我们提出了带有地标的链路思考（CoTL）机制，引导 LLM 识别关键地标并生成完整指令。CoTL 使得生成指令更易于遵循，并能对操控地标对象提供更大的可控性。此外，我们提出了空间拓扑建模任务，以促进对环境空间结构的理解。最后，我们引入了风格混合训练策略，利用 LLM 的先验知识，使单一模型实例能够基于不同提示实现指令生成的风格控制。广泛的实验表明，C-Instructor 生成的指令在文本指标、导航指导评估和用户研究中均优于先前方法。
引用
@article{arxiv.2407.07433,
title = {Controllable Navigation Instruction Generation with Chain of Thought Prompting},
author = {Xianghao Kong and Jinyu Chen and Wenguan Wang and Hang Su and Xiaolin Hu and Yi Yang and Si Liu},
journal= {arXiv preprint arXiv:2407.07433},
year = {2024}
}
备注
ECCV 2024