学习何时请求人类反馈
机器学习
2025-10-10 v1 人机交互
摘要
开发能够补充人类在分类任务中性能的决策支持系统仍是开放挑战。流行的方法称为学习推迟 (Learning to Defer, LtD)，允许机器学习模型将难以处理的案例传递给人类专家。然而，LtD 将人类和机器学习模型视为互斥的决策者，限制了专家贡献仅限于预测。为此，我们提出学习请求 (Learning to Ask, LtA)，一种新的框架，用于在机器学习模型中处理何时以及如何融入专家输入。LtA 基于两部分体系结构：一个标准机器学习模型和一个额外训练了人类专家反馈的增强模型，以及一种正式最优的策略，用于选择何时查询增强模型。我们提供了两种 LtA 的实际实现：顺序方法按阶段训练模型；联合方法同时优化它们。对于后者，我们设计了具有可实现一致性保证的代理损失。我们的实验使用合成数据和真实专家数据表明，LtA 提供了更灵活和强大的人类-人工智能协作基础。
引用
@article{arxiv.2510.08314,
title = {To Ask or Not to Ask: Learning to Require Human Feedback},
author = {Andrea Pugnana and Giovanni De Toni and Cesare Barbera and Roberto Pellungrini and Bruno Lepri and Andrea Passerini},
journal= {arXiv preprint arXiv:2510.08314},
year = {2025}
}