基于光电触觉反馈的手指可穿戴盲文电子系统对印刷文本的追踪与跟随

本文介绍了我们近期为盲人或视障者（BVI）开发的便携式可刷新文本阅读与感觉替代系统 Finger-eye。该系统主要由光学文本处理单元和基于紧凑电触觉的显示器组成，后者可通过可穿戴且呈盲文点阵的电极阵列将文本相关电信号传递至指尖皮肤，从而向指尖提供基于电刺激的盲文触觉。为实现通过该便携系统辅助 BVI 阅读任何非盲文书写文本的目标，本工作首先开发了一种快速光学字符识别（R-OCR）方法，基于安装在手指可穿戴电触觉显示器上的鱼眼成像设备实时处理文本信息。这使得印刷文本能够随用户指尖的自然移动实时转换为电盲文，如同阅读任何盲文显示器或书籍。更重要的是，提出了一种电触觉神经刺激反馈机制并与 R-OCR 方法结合，由此促成一种基于光电触觉反馈的文本行追踪控制方法，使用户指尖在阅读时可跟随文本行。我们设计并开展了多项实验，以测试被蒙眼参与者基于该光电触觉反馈方法阅读并跟随文本行的能力。实验表明，得益于光电触觉反馈，用户在扫描文本行时能将指尖保持在距文本 $2mm$ 的范围内。本研究是辅助 BVI 用户以便携方式将任何印刷文本（无论数字还是实体、任何表面）转换并跟随阅读为盲文的重要一步。