度量公平提示:对待相似样本
计算与语言
2025-12-09 v1 人工智能
摘要
我们提出了度量公平提示(Metric-Fair Prompting),一种面向大语言模型(LLM)的公平性感知提示框架。在多选医学问答任务中,将每个 {(question, option)} 对视为具有标签 (正确)或 (错误)的二元实例。为促进 individual fairness(对待相似实例)——即对相似实例进行相同处理——我们计算问题之间的相似性并以联合相似问题对的形式处理,而非孤立处理。该提示 enforces 全局决策协议:提取决定性临床特征,将每个 映射到得分 作为置信度,并施加 Lipschitz 风格约束,确保相似输入获得相似得分,从而实现一致的输出。在 MedQA(US) 基准测试上评估结果表明,度量公平提示优于标准单项提示,证明了公平性导向、置信度导向的推理方式可提升 LLM 在高风险临床多选问答问题上的准确率。
引用
@article{arxiv.2512.07608,
title = {Metric-Fair Prompting: Treating Similar Samples Similarly},
author = {Jing Wang and Jie Shen and Xing Niu and Tong Zhang and Jeremy Weiss},
journal= {arXiv preprint arXiv:2512.07608},
year = {2025}
}