利用锦标赛计算 LLM 零样本分类的 AUROC
计算与语言
2025-11-25 v2
摘要
大型语言模型在许多零样本分类任务上表现惊人地好，但由于缺乏可修改的决策边界，很难与监督分类器进行公平比较。在这项工作中，我们提出并评估了一种方法，将二分类任务转化为数据集中实例之间的成对比较，利用 LLM 产生这些实例的相对排序。重复的成对比较可用于使用 Elo 评分系统（用于国际象棋和其他竞赛）对实例进行评分，从而在数据集上诱导出置信度排序。我们评估了调度算法最小化比较次数的能力，并表明我们提出的算法在提升分类性能的同时，还能比传统零样本分类提供更多信息。
引用
@article{arxiv.2502.15018,
title = {Using tournaments to calculate AUROC for zero-shot classification with LLMs},
author = {WonJin Yoon and Ian Bulovic and Timothy A. Miller},
journal= {arXiv preprint arXiv:2502.15018},
year = {2025}
}
备注
The 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025, Findings). The code is available at: https://github.com/Machine-Learning-for-Medical-Language/cnlp_llm