当刷新式触觉显示器遇上对话式智能体：探索基于触觉与语音的可访问数据呈现与分析
人机交互
2025-01-17 v2
摘要
尽管近期有大量研究努力使数据可视化对盲人或视力受损者（BLV）人群可及，但如何支持 BLV 人群的数据分析仍是重要且具有挑战性的问题。随着刷新式触觉显示器（RTD）价格下降和对话式智能体不断改进，其组合为支持 BLV 人群进行交互式数据探索和分析提供了广阔的前景。为理解 BLV 人群如何使用和反应于将 RTD 与对话式智能体结合的系统，我们组织了一次包含 11 名 BLV 参与者的魔术师-魔法师研究，参与者与折线图、柱状图和等值图进行交互。我们的分析识别出九种独特的互动模式。我们还发现，模态选择取决于任务类型和对触觉图形的先前经验，参与者强烈倾向于将 RTD 与语音组合使用，而非单一模态。此外，拥有更多触觉经验的参与者描述了触觉图像如何促进对数据的深度参与，并支持独立解读。我们的发现将为设计此类交互式混合模态系统的界面提供指导。
引用
@article{arxiv.2408.04806,
title = {When Refreshable Tactile Displays Meet Conversational Agents: Investigating Accessible Data Presentation and Analysis with Touch and Speech},
author = {Samuel Reinders and Matthew Butler and Ingrid Zukerman and Bongshin Lee and Lizhen Qu and Kim Marriott},
journal= {arXiv preprint arXiv:2408.04806},
year = {2025}
}
备注
Accepted to be presented at IEEE VIS 2024 (Honorable Mention Award) and published in IEEE TVCG; Replacement: typos corrected, external DOI added