为盲人和低视力人群生成情境相关的导航指令

在陌生环境中导航对盲人和低视力（BLV）个体构成重大挑战。本文构建了一个包含不同情境下图像和目标的数据集，如在厨房中寻找物品或户外导航。我们随后研究如何通过基于 grounding 的指令生成方法为这些情境中的用户提供情境相关的导航指导。通过盲人用户研究，我们展示了大型预训练语言模型能够产生正确且有用的指令，用户认为这些指令对 BLV 用户有益。我们还对 4 名 BLV 用户进行了调查和访谈，观察到关于基于情境不同指令偏好的有用见解。