基于变形关系的黑盒 LLM perceived confidence 评分
摘要
Zero-shot LLMs 现在也用于 textual classification 任务，例如句子或文章中的 sentiment 和 bias 检测。然而，其 performance 在此类 data annotation 任务中可能 suboptimal。我们引入一种 novel technique，通过 leverage Metamorphic Relations (MRs) 来 evaluate LLM 对 classify textual input 的 confidence。MRs generate 对 input semantics 等价但 textually different 的版本。遵循 Metamorphic Testing (MT) 的原理，mutations 版本应具有与 input 相似的 annotation labels。通过分析 LLM 在这些 variations 上的 response consistency，我们 compute 一种 perceived confidence score (PCS)，基于 predicted labels 的 frequency。PCS 可用于 single 和 multiple LLM 设置（例如，当 multiple LLMs 在 majority-voting setup 中 vet 时）。empirical evaluation 显示，我们的 PCS-based 方法在 textual classification 任务中 improve LLM performance 9.3%。当 multiple LLMs 用于 majority-voting setup 时，we obtain performance boost 5.8% with PCS。
引用
@article{arxiv.2502.07186,
title = {PCS: Perceived Confidence Scoring of Black Box LLMs with Metamorphic Relations},
author = {Sina Salimian and Gias Uddin and Shaina Raza and Henry Leung},
journal= {arXiv preprint arXiv:2502.07186},
year = {2025}
}