FetchAid: 通过深度学习增强的触摸屏指导、错误恢复机制和基于 AR 的搜索支持，使包裹盒更易于盲人和低视力人士使用
人机交互
2024-02-27 v1
摘要
包裹盒已成为越来越普遍的末端递送方法。然而，最近的一项研究揭示了其对盲人和低视力人士（BLV）的可访问性挑战。根据该研究，我们设计了 FetchAid，这是一个独立的智能移动应用程序，通过集成计算机视觉和增强现实（AR）技术，实时帮助 BLV 使用包裹盒。FetchAid 首先使用深度网络检测用户的手指尖及相关按钮，以引导用户显示和扫描二维码以打开目标仓门，然后通过基于 AR 的上下文感知音频反馈引导用户安全到达门。此外，FetchAid 提供错误恢复机制和实时反馈以保持用户在正确轨道上。我们展示了 FetchAid 在 12 名 BLV 参与者的研究中显著提高了任务完成度和效率，减少了挫败感和整体 effort，无论其视力情况和之前的经验如何。
引用
@article{arxiv.2402.15723,
title = {FetchAid: Making Parcel Lockers More Accessible to Blind and Low Vision People With Deep-learning Enhanced Touchscreen Guidance, Error-Recovery Mechanism, and AR-based Search Support},
author = {Zhitong Guan and Zeyu Xiong and Mingming Fan},
journal= {arXiv preprint arXiv:2402.15723},
year = {2024}
}
备注
Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI '24), May 11--16, 2024, Honolulu, HI, USA