中文

度量公平提示:对待相似样本

计算与语言 2025-12-09 v1 人工智能

摘要

我们提出了度量公平提示(Metric-Fair Prompting),一种面向大语言模型(LLM)的公平性感知提示框架。在多选医学问答任务中,将每个 {(question, option)} 对视为具有标签 +1+1 (正确)或 1-1 (错误)的二元实例。为促进 individual fairness(对待相似实例)——即对相似实例进行相同处理——我们计算问题之间的相似性并以联合相似问题对的形式处理,而非孤立处理。该提示 enforces 全局决策协议:提取决定性临床特征,将每个 (question,option)(\text{question}, \text{option}) 映射到得分 f(x)f(x) 作为置信度,并施加 Lipschitz 风格约束,确保相似输入获得相似得分,从而实现一致的输出。在 MedQA(US) 基准测试上评估结果表明,度量公平提示优于标准单项提示,证明了公平性导向、置信度导向的推理方式可提升 LLM 在高风险临床多选问答问题上的准确率。

关键词

引用

@article{arxiv.2512.07608,
  title  = {Metric-Fair Prompting: Treating Similar Samples Similarly},
  author = {Jing Wang and Jie Shen and Xing Niu and Tong Zhang and Jeremy Weiss},
  journal= {arXiv preprint arXiv:2512.07608},
  year   = {2025}
}