调查与设计 AI 驱动代码生成工具中的信任

随着 GitHub Copilot 等 AI 驱动代码生成工具的流行，理解软件开发者对 AI 工具的信任——这一工具采纳与负责任使用的关键因素——至关重要。然而，我们对开发者如何与 AI 建立信任知之甚少，也不了解如何设计生成式 AI 系统的界面以促进其适当水平的信任。在本文中，我们描述了一项两阶段定性调查的发现。我们首先访谈了 17 名开发者，以语境化他们的信任观念，并理解他们在 AI 代码生成工具中建立适当信任所面临的挑战。我们揭示了三个主要挑战——包括建立适当期望、配置 AI 工具以及验证 AI 建议。为应对这些挑战，我们在第二阶段开展了设计探针研究，探索支持开发者信任建立过程的设计概念：1）传达 AI 性能以帮助用户设定恰当期望，2）允许用户通过设定和调整偏好来配置 AI，以及 3）提供模型机制指示以支持对 AI 建议的评估。我们收集了开发者关于这些设计概念如何帮助他们建立对 AI 驱动代码生成工具的适当信任以及设计中的潜在风险的反馈。这些发现为我们就如何设计 AI 驱动代码生成工具中的信任所提出的设计建议提供了依据。