细粒度合适依赖:基于多步骤透明决策工作流程的人类与 AI 协作以处理复杂任务分解
人工智能
2025-01-22 v1 人机交互
摘要
近年来,AI 系统的快速发展带来了智能服务的便利,同时也引发了关于安全性和可靠性的关注。通过培育对 AI 系统的适当依赖,既可实现人机协同的卓越绩效,又可减少人类的工作负担。以往的实证研究已广泛分析了从任务、系统以及人类行为等因素对用户信任和适当依赖的影响,但针对需要多步骤工作流程才能完成的复杂语义任务中,用户对 AI 系统的依赖问题仍鲜有探讨。灵感来源于近期大型语言模型用于任务分解的工作,我们提出研究新颖的多步骤透明(Multi-Step Transparent,简称 MST)决策工作流程对用户依赖行为的影响。我们进行了一次为期 N=233 的实证研究,聚焦于 AI 辅助的复合型事实核查任务(即包含多个子事实核查步骤的事实核查任务)。我们的发现表明,在特定情境(例如当来自 AI 系统的建议具有误导性时),采用 MST 决策工作流程的人机协作可优于单一步骤协作。进一步分析表明,MST 决策工作流程在用户对中间步骤具有较高考虑程度时,能够有效促进适当的依赖。我们的工作表明,没有一种适用于所有情境的决策工作流程能帮助获得最佳的人机协作。我们的见解有助于深化对决策工作流程在促进适当依赖方面的作用的理解。我们对为 AI 系统在复合任务中实现适当依赖的有效方法的设计提供了重要启示,为以以人类为中心的人工智能及更广泛的人机交互领域提供了机遇。
引用
@article{arxiv.2501.10909,
title = {Fine-Grained Appropriate Reliance: Human-AI Collaboration with a Multi-Step Transparent Decision Workflow for Complex Task Decomposition},
author = {Gaole He and Patrick Hemmer and Michael Vössing and Max Schemmer and Ujwal Gadiraju},
journal= {arXiv preprint arXiv:2501.10909},
year = {2025}
}
备注
Work in progress