基于虚拟世界探索与视听感觉替代的视障读者数学内容浏览
人机交互
2022-02-04 v1
摘要
包含数学内容的文档对盲人和视障读者而言仍基本不可及，因为它们主要以无标签的 PDF 形式发布，其中不包含有效无障碍所需的语义数据。我们提出了一种面向此类数学内容、供印刷品阅读障碍读者的浏览方法。该方法借鉴了探索文字冒险游戏虚拟世界时常使用的导航机制，并对图形内容采用视听感觉替代。方程各元素的相对空间位置被表示为一个虚拟世界，使读者可在元素间导航。文本元素通过合成语音常规播报，而根号、分数线等图形元素则使用改进的 vOICe 算法渲染。虚拟世界使读者能够交互式地发现方程的空间结构，而将图形元素以声音形式呈现则使无法合成为语音的元素形状和身份得以被发现和识别。该浏览方法在一项用户试验中由十一名盲人和十四名视力正常参与者评估，试验包含识别从 PDF 文档提取的十二个方程。总体而言，方程在 78% 的情况下被完全正确识别（盲人和视力正常受试者分别为 74% 和 83%）。若考虑部分正确性，表现则明显更高。我们得出结论：将表示为虚拟世界的空间模型与非文本元素的视听感觉替代相结合，可成为盲人和视障读者阅读当前 PDF 文档中不可及数学内容的有效途径。
引用
@article{arxiv.2202.01639,
title = {Mathematical Content Browsing for Print-Disabled Readers Based on Virtual-World Exploration and Audio-Visual Sensory substitution},
author = {Rynhardt Kruger and Febe de Wet and Thomas Niesler},
journal= {arXiv preprint arXiv:2202.01639},
year = {2022}
}