VisBuddy——面向视觉障碍者的智能可穿戴助手
计算机视觉与模式识别
2022-01-05 v3
摘要
视觉在理解周围世界中起关键作用。超过 85% 的外部信息通过视觉系统获得。它影响我们的移动、认知、信息获取以及与环境和他人的交互。失明使人无法知晓周围环境，并使无辅助导航、物体识别、避障和阅读任务成为重大挑战。许多现有系统常受限于成本与复杂性。为帮助视觉障碍者克服日常生活中的这些困难，我们提出 VisBuddy，一个帮助视觉障碍者进行日常活动的智能助手。VisBuddy 是基于语音的助手，用户可通过语音命令执行特定任务。它使用图像描述（image captioning）技术描述用户周边环境，使用光学字符识别（OCR）读取用户视野中文本，使用物体检测搜索并查找室内物体，并使用网络抓取为用户提供最新新闻。VisBuddy 结合深度学习与物联网的概念构建。因此，VisBuddy 通过协助日常活动，成为视觉障碍者经济高效、功能强大、一体化的助手。
引用
@article{arxiv.2108.07761,
title = {VisBuddy -- A Smart Wearable Assistant for the Visually Challenged},
author = {Ishwarya Sivakumar and Nishaali Meenakshisundaram and Ishwarya Ramesh and Shiloah Elizabeth D and Sunil Retmin Raj C},
journal= {arXiv preprint arXiv:2108.07761},
year = {2022}
}
备注
10 pages