使用上下文Bandits的动态信任校准

在协作场景中，人类与人工智能（AI）之间的信任校准对最优决策至关重要。过度信任会导致用户不加质疑地接受AI生成的输出，忽略关键缺陷，而信任不足可能导致忽视AI系统的有价值见解，阻碍性能。尽管其重要性，目前尚无测量人类与AI之间信任校准的确定性和客观方法。现有方法缺乏标准化和一致的度量，无法广泛适用于各种上下文，且无法区分意见形成与后续人类决策。在本工作中，我们提出一种新颖且客观的动态信任校准方法，引入标准化的信任校准度量和指示器。通过利用上下文Bandits——一种将上下文融入决策的自适应算法——我们的指示器基于已学习的上下文信息动态评估何时信任AI贡献。我们在三个多样化数据集上评估该指示器，证明有效的信任校准可显著提升决策性能，表现为奖励指标10%至38%的增长。这些发现不仅深化了理论理解，还为开发更值得信赖的AI系统提供了实践指导，以支持关键领域的决策，例如疾病诊断和刑事司法。