中文

提升操作员与 AI 推荐系统协作时的态势感知

人机交互 2023-10-18 v1

摘要

AI 推荐系统通过向负责最终决策的操作员提供建议来寻求决策支持。然而,这些系统通常被视为黑箱,且往往不加任何上下文或对底层算法的洞察地呈现出来。因此,推荐系统可能导致用户依赖的错估以及态势感知的下降。近期工作聚焦于以多种方式提升推荐系统的透明度,例如改进推荐系统对优值指标的分析与可视化、提供推荐系统决策的解释,以及改进用户培训或校准用户信任。在本文中,我们引入一种替代性的透明化技术,即结构化地向人类操作员展示上下文信息与推荐系统决策的顺序。该技术旨在提升操作员的态势感知,从而提升操作员与推荐系统之间的共享态势感知。本文呈现了一项两阶段被试间研究的结果,其中参与者与推荐系统共同做出一项高风险决策。我们改变了参与者拥有的上下文信息量、优值指标的评估技术,以及推荐系统的可靠性。我们发现,预先提供上下文信息通过改善人类决策者的初始与最终判断,以及其辨别推荐系统错误边界的能力,提升了团队的共享态势感知。此外,该技术准确地校准了人类操作员对推荐系统的信任。本工作提出并验证了一种为 AI 系统提供模型无关透明度的途径,可支持人类决策者并带来改进的团队表现。

关键词

引用

@article{arxiv.2310.11370,
  title  = {Improving Operator Situation Awareness when Working with AI Recommender Systems},
  author = {Divya K. Srivastava and J. Mason Lilly and Karen M. Feigh},
  journal= {arXiv preprint arXiv:2310.11370},
  year   = {2023}
}

备注

26 pages, 12 figures, submitted to Springer's "Cognition, Technology, and Work" journal