了解算法透明度在文本到 SQL 语义解析中的模型解释效果
信息检索
2024-11-26 v2 人工智能
计算与语言
人机交互
摘要
为促进用户对这些系统产生适当的信任，解释 AI 决策的作用日益重要。本文研究了结构化预测任务的解释，即“文本到 SQL 语义解析”，将自然语言问题翻译为结构化查询语言 (SQL) 程序。在此任务设置下，我们设计了三个层次的模型解释，每个层次暴露不同的模型决策细节（称为“算法透明度”），并调查不同的模型解释可能对用户体验产生的不同影响。我们对约100名参与者的研究显示， (1) 低/高透明度解释常常导致用户对模型决策的依赖程度更低/更高，而中等透明度解释在平衡方面取得了良好平衡。我们也展示了， (2) 只有中等透明度参与者小组能够进一步参与互动并表现出随时间的增长性能，而 (3) 他们在研究前后显示最少的信任变化。
引用
@article{arxiv.2410.16283,
title = {Understanding the Effect of Algorithm Transparency of Model Explanations in Text-to-SQL Semantic Parsing},
author = {Daking Rai and Rydia R. Weiland and Kayla Margaret Gabriella Herrera and Tyler H. Shaw and Ziyu Yao},
journal= {arXiv preprint arXiv:2410.16283},
year = {2024}
}
备注
15 pages, 18 figure, Preprint