HelpViz：基于文本指令自动生成情境化可视移动教程
人机交互
2025-04-04 v1 人工智能
摘要
我们提出 HelpViz，一种从网络上丰富的基于文本的指令生成情境化可视移动教程的工具。HelpViz 通过指令解析模型从每条文本指令中提取一系列操作，并在管理一组 Android 模拟器的仿真基础设施上执行所提取的操作，从而批量地将文本指令转换为图形化教程。每条指令的自动执行产生一组图形与结构资源，包括图像、视频以及诸如每步被点击元素等元数据。HelpViz 随后将解析出的文本指令与生成的资源相结合来合成教程，并通过跟踪用户进度和突出下一步来使教程适应用户交互情境。我们使用 HelpViz 的实验表明，我们的流水线提升了教程执行的鲁棒性，且参与者更偏好 HelpViz 生成的教程而非基于文本的指令。HelpViz 有望提供一种可规模化生成移动交互情境化可视教程的低成本方法。
引用
@article{arxiv.2108.03356,
title = {HelpViz: Automatic Generation of Contextual Visual MobileTutorials from Text-Based Instructions},
author = {Mingyuan Zhong and Gang Li and Peggy Chi and Yang Li},
journal= {arXiv preprint arXiv:2108.03356},
year = {2025}
}
备注
Accepted to UIST'21