HyPAC：具备PAC错误保证的LLM-人类混合标注
机器学习
2026-02-04 v1 人工智能
摘要
数据标注通常涉及来自不同成本-质量权衡的多个来源，如快速的大型语言模型（LLMs）、缓慢的推理模型和人类专家。本文研究将输入路由到最具成本效益的标注来源以控制测试实例上的标注误差的问题。我们提出了HyPAC方法，通过自适应地将输入路由到最具成本效益的标注来源，同时提供关于标注误差的分布自由保证。HyPAC通过重要抽样和上置信界校准两个决策阈值，将输入分为基于不确定性的三个区域，并将每个区域路由到相应的标注来源。我们证明，HyPAC在标注误差上实现PAC（probably approximately correct）保证的前提下，可实现最小的预期成本，且该保证免除数据分布和预训练模型的限制。实验在常见基准测试上表明，我们的方法有效地将标注成本降低了78.51%，同时紧密控制了标注误差。
引用
@article{arxiv.2602.02550,
title = {HyPAC: Cost-Efficient LLMs-Human Hybrid Annotation with PAC Error Guarantees},
author = {Hao Zeng and Huipeng Huang and Xinhao Qu and Jianguo Huang and Bingyi Jing and Hongxin Wei},
journal= {arXiv preprint arXiv:2602.02550},
year = {2026}
}