基于检索增强生成的视障人士辅助设备 SeeSay
人机交互
2024-10-08 v1 社会与信息网络
摘要
本文提出 SeeSay，一款专为视力受损者设计的辅助设备。该系统利用大语言模型（LLM）进行语音识别和视觉查询。它能够有效识别、记录并响应用户的环境情况，通过检索增强生成（RAG）提供音频指导。我们的实验表明，该系统在多种场景下均能识别周围环境并提供音频反馈以响应查询。我们希望 SeeSay 系统能够促进用户对其环境的理解与记忆，从而提升环境感知能力，改善导航技能，并增强整体独立性。
引用
@article{arxiv.2410.03771,
title = {SeeSay: An Assistive Device for the Visually Impaired Using Retrieval Augmented Generation},
author = {Melody Yu},
journal= {arXiv preprint arXiv:2410.03771},
year = {2024}
}