StateLens：一种使现有动态触摸屏可访问的反向工程解决方案
人机交互
2019-08-21 v1 计算机视觉与模式识别
摘要
盲人在日常生活中经常遇到难以使用、令人沮丧且往往无法独立使用的不可访问动态触摸屏。触摸屏常常是控制从咖啡机、支付终端到地铁售票机和机上娱乐系统等一切设备的唯一方式。非视觉地与动态触摸屏交互是困难的，因为视觉用户界面会变化、交互常跨越多个不同屏幕，并且在探索屏幕时容易意外触发界面操作。为解决这些问题，我们提出 StateLens——一个使现有动态触摸屏可访问的三部分反向工程解决方案。首先，StateLens 利用在线发现的或由用户拍摄的第一视角视频，通过众包-计算机视觉混合流水线反向工程现有界面的底层状态图。其次，利用状态图，StateLens 自动生成对话代理以引导盲用户指定界面可执行的任务，使 StateLens iOS 应用能够提供交互式引导和反馈，从而盲用户可访问该界面。最后，一组 3D 打印配件使盲人能够探索电容式触摸屏而不存在意外触发界面触摸的风险。我们的技术评估表明 StateLens 能从固定、手持和网络视频中准确重建界面；对完整系统的用户研究证明 StateLens 成功使盲用户能够访问原本不可访问的动态触摸屏。
引用
@article{arxiv.1908.07144,
title = {StateLens: A Reverse Engineering Solution for Making Existing Dynamic Touchscreens Accessible},
author = {Anhong Guo and Junhan Kong and Michael Rivera and Frank F. Xu and Jeffrey P. Bigham},
journal= {arXiv preprint arXiv:1908.07144},
year = {2019}
}
备注
ACM UIST 2019