人机交互对AI辅助定性编码中用户信任与依赖的影响
人机交互
2023-09-26 v1
摘要
尽管AI在提升定性分析效率方面展现出前景，但由不同编码策略导致的人机交互特殊性，使得开发能够有效支持编码任务的可信AI辅助定性编码系统（AIQCs）颇具挑战。我们通过探究不同编码策略对用户信任及对AI依赖的影响来弥补这一缺口。我们开展了一项混合方法的3×3裂区研究，涉及30名参与者，以及一项有6名参与者的后续研究，在我们AIQCs系统用于定性分析时探究不同的文本选择与代码长度。我们的结果表明，定性开放式编码应被概念化为一系列不同的子任务，各自具有不同复杂程度，因此应给予针对性的设计考量。我们进一步观察到感知度量与行为度量之间存在差异，并强调了AIQCs系统中依赖不足与过度依赖的潜在挑战。还提出了额外的设计启示以供考量。
引用
@article{arxiv.2309.13858,
title = {Impact of Human-AI Interaction on User Trust and Reliance in AI-Assisted Qualitative Coding},
author = {Jie Gao and Junming Cao and ShunYi Yeo and Kenny Tsu Wei Choo and Zheng Zhang and Toby Jia-Jun Li and Shengdong Zhao and Simon Tangi Perrault},
journal= {arXiv preprint arXiv:2309.13858},
year = {2023}
}
备注
27 pages with references, 9 figures, 5 tables