面向用户体验评估的人智协作：解释与同步的影响
人机交互
2021-12-24 v1
摘要
分析可用性测试视频是一项艰巨的任务。尽管近期研究表明人工智能（AI）在辅助此类任务方面具有潜力，但AI应如何设计以促进用户体验（UX）评估者与AI之间的有效协作仍很大程度上未知。受人与AI协作文献中能动性与工作情境概念的启发，我们研究了AI辅助UX评估的两个对应设计因素：解释与同步。解释使AI能够进一步告知人类它如何从一次可用性测试会话中识别UX问题；同步指人与AI协作的两种方式：同步与异步。我们迭代设计了一款工具AI Assistant，其四个UI版本对应解释（有/无）与同步（同步/异步）的两个水平。通过采用混合式Wizard-of-Oz方法模拟具有合理性能的AI，我们开展了一项混合方法研究，24名UX评估者使用AI Assistant从可用性测试视频中识别UX问题。我们的定量与定性结果表明，无论以同步还是异步方式呈现，带解释的AI都为UX评估者的分析提供了更好支持且被更积极地感知；当无解释时，与异步AI相比，同步AI更好地提升了UX评估者的表现与参与度。最后，我们提出了面向AI辅助UX评估及促进更有效人智协作的设计启示。
引用
@article{arxiv.2112.12387,
title = {Human-AI Collaboration for UX Evaluation: Effects of Explanation and Synchronization},
author = {Mingming Fan and Xianyou Yang and Tsz Tung Yu and Vera Q. Liao and Jian Zhao},
journal= {arXiv preprint arXiv:2112.12387},
year = {2021}
}
备注
Proceedings of the ACM on Human-Computer Interaction (PACM HCI), CSCW, 2022