级联语言模型用于经济高效的人机决策
人工智能
2025-10-27 v3 计算与语言
摘要
人机决策中的一个挑战是平衡三个因素：预测的正确性、知识和推理复杂度的成本，以及是否放弃自动回答或升级给人类专家的置信度。在这项工作中，我们提出一个级联LLM决策框架，自适应地在多个专业层级之间分配任务——基础模型用于初始候选答案，一个能力更强、知识更丰富（但成本更高）的大型模型，以及当级联模型放弃时的人类专家。我们的方法分两个阶段进行。第一阶段，延迟策略根据置信度分数决定是否接受基础模型的答案或用大型模型重新生成。第二阶段，放弃策略决定级联模型的响应是否足够确定，还是需要人类干预。此外，为了克服静态策略并适应变化的任务难度，我们引入了一个利用人类反馈的在线学习机制。我们在通用问答（ARC-Easy、ARC-Challenge和MMLU）以及医学问答（MedQA和MedMCQA）上展示了该方法。结果表明，我们的级联策略在大多数情况下优于单模型基线，在提高准确率的同时降低成本，并提供了处理放弃决策的系统化方法。
引用
@article{arxiv.2506.11887,
title = {Cascaded Language Models for Cost-effective Human-AI Decision-Making},
author = {Claudio Fanconi and Mihaela van der Schaar},
journal= {arXiv preprint arXiv:2506.11887},
year = {2025}
}