支持无触觉显示器上多模态数据交互：一种结合触觉与对话式AI的架构
人机交互
2026-02-18 v1
摘要
将对话式AI与可刷新触觉显示器（RTDs）结合，为盲人或视力受损者（BLV）提供数据可视化具有重要潜力。为支持研究人员和开发人员使用RTDs构建可访问的数据可视化，本文提出一种多模态数据交互架构及其开源参考实现。我们的系统是首个将触摸输入与对话式智能体集成于RTDs上，使其能够实现融合触觉上下文与语音语言的指向性查询，例如“这些点之间的趋势是什么？”。该架构解决了关键技术挑战，包括RTDs上的触觉感知、视觉到触觉编码、整合触觉上下文与对话式AI，以及多模态输出的同步。我们的贡献有二：（1）一种集成RTDs硬件、外部触觉感知与对话式AI的技术架构，实现多模态数据交互；（2）演示其可行性的开源参考实现。本工作为未来在多模态可访问数据可视化领域的研究提供了技术基础。
引用
@article{arxiv.2602.15280,
title = {Supporting Multimodal Data Interaction on Refreshable Tactile Displays: An Architecture to Combine Touch and Conversational AI},
author = {Samuel Reinders and Munazza Zaib and Matthew Butler and Bongshin Lee and Ingrid Zukerman and Lizhen Qu and Kim Marriott},
journal= {arXiv preprint arXiv:2602.15280},
year = {2026}
}
备注
Paper to be presented at IEEE PacificVis 2026 (VisNotes)