何时展示建议？在AI辅助编程中融合人类反馈

Copilot和CodeWhisperer等AI驱动的代码推荐系统在程序员环境（如IDE）中提供代码建议，旨在提升生产力。我们探索利用程序员对代码建议接受与拒绝的信号来引导推荐的机制。我们借助数百万程序员使用的GitHub Copilot的交互数据，开发可节省程序员时间的干预措施。我们引入一种基于效用理论的框架，以驱动关于展示或隐藏建议的决策。该方法称为基于人类反馈的条件建议展示（CDHF），依赖一系列模型来提供所推荐代码被接受的概率。这些概率被用于选择性隐藏建议，从而减少延迟与程序员的验证时间。利用来自535名程序员的数据，我们对CDHF进行回顾性评估，结果表明我们可避免展示相当大比例本会被拒绝的建议。我们通过消融实验进一步证明，在何时展示建议的决策中纳入程序员潜在的未观测状态十分重要。最后，我们展示了将建议接受度作为引导建议展示的奖励信号可能导致建议质量下降，揭示了一个出乎意料的陷阱。