"我可以看见永远了！：评估支持视力受损者日常生活的实时视频LLM
计算机视觉与模式识别
2025-12-05 v2 人工智能
人机交互
多媒体
摘要
视力受损的人群面临着在日常活动中面临的诸多挑战。虽然先前的工作使用视觉语言模型提供帮助，但大多数关注静态内容，无法解决复杂环境中的实时感知需求。最近的VideoLLMs实现了实时视觉和语音交互，为辅助任务提供了有前景的潜力。在本工作中，我们首先conducted一项与视力受损者参与者的调查，以设计用于日常生活评估的基准VisAssistDaily。使用VisAssistDaily，我们评估了流行的VideoLLMs，发现GPT-4o实现了最高的任务成功率。我们进一步conducted一项用户研究，揭示了对危险感知的关注。为解决这一问题，我们提出SafeVid一个环境意识数据集，并微调VITA-1.5，提高了风险识别准确率从25.00%到76.00%。我们希望本工作为该领域的未来研究提供有价值的见解和灵感。
引用
@article{arxiv.2505.04488,
title = {"I Can See Forever!": Evaluating Real-time VideoLLMs for Assisting Individuals with Visual Impairments},
author = {Ziyi Zhang and Zhen Sun and Zongmin Zhang and Zifan Peng and Yuemeng Zhao and Zichun Wang and Zeren Luo and Ruiting Zuo and Xinlei He},
journal= {arXiv preprint arXiv:2505.04488},
year = {2025}
}
备注
17 pages