嘿，仪表盘！：支持语音、文本和指向模式的仪表盘入门
人机交互
2026-03-04 v3
摘要
数据探索和分析常常使用可视化仪表盘，但其复杂的交互和关联视图通常需要仪表盘作者进行耗时的入门培训。准备这些入门材料具有高成本，需在仪表盘更改时进行手动更新。近期大语言模型(LLM)驱动的多模态交互技术为支持自导式入门提供了可能。我们提出了 DIANA（Dashboard Interactive Assistant for Navigation and Analysis，仪表盘交互导航与分析助手），一种多模态仪表盘助手，通过聊天、语音和鼠标基于交互的方式帮助用户进行导航和引导式分析。用户可以选择任意一种交互方式或其组合，自行完成仪表盘的入门。每种交互方式都会突出显示与用户相关的仪表盘功能，以支持用户定位。与通常仅依赖文本聊天的 LLM 系统不同，DIANA 结合了多种模态，在仪表盘界面中直接提供解释。我们进行了一项定性用户研究，以了解不同交互方式在不同类型的入门任务及其复杂性方面的应用情况。
引用
@article{arxiv.2510.12386,
title = {Hey Dashboard!: Supporting Voice, Text, and Pointing Modalities in Dashboard Onboarding},
author = {Vaishali Dhanoa and Gabriela Molina León and Eve Hoggan and Eduard Gröller and Marc Streit and Niklas Elmqvist},
journal= {arXiv preprint arXiv:2510.12386},
year = {2026}
}