ChatGPT 能否帮助视障人士进行微型导航？
人机交互
2024-08-19 v1 计算机视觉与模式识别
摘要
目标：微型导航对盲人和视力受损者构成挑战，他们常需请求视力者帮助。我们探索了将 ChatGPT 作为虚拟助手提供导航方向的可行性。方法：我们构建了包含 113 张场景图像及其人工生成文本描述的户外和室内微型导航情景测试集。基于情景情境，编译了 412 条路径查询及其预期响应。并非所有查询都能凭场景图像中的信息作出回答，需预期返回“我不知道”以作为负面案例。预期给出高层次方向指引，不要求逐步引导。评估了 ChatGPT 4o 在不同条件下的灵敏度（SEN）和特异度（SPE）。结果：默认的 ChatGPT 4o 以场景图像为输入，SEN 和 SPE 分别为 64.8% 和 75.9%。关于如何回答不可解问题的指令未显著提升 SEN，但 SPE 提升约 14 个百分点。当改用人工编写的场景描述输入时，SEN 和 SPE 分别平均提升约 17 和 16 个百分点。进一步的提示指令对文本描述输入下的 SEN 和 SPE 影响不大。结论：当前的原生 ChatGPT 4o 在某些情况下仍无法提供正确的微型导航指引，可能是由于其场景理解未针对导航目的进行优化。如果多模态聊天机器人能够达到与人类相当的场景理解水平，并且受到恰当的提示引导，他们可能有潜力为视障人士提供微型导航帮助。
引用
@article{arxiv.2408.08321,
title = {Can ChatGPT assist visually impaired people with micro-navigation?},
author = {Junxian He and Shrinivas Pundlik and Gang Luo},
journal= {arXiv preprint arXiv:2408.08321},
year = {2024}
}