PromptNCE：仅使用 LLM 和对比估计提示的点互信息预测
计算与语言
2026-05-22 v1
摘要
从文本估计点互信息通常需要训练任务特定的批评家，这限制了其在低数据环境中的应用。我们询问大语言模型是否能够仅通过提示和 elicited 概率进行零样本点互信息估计。我们引入了一个包含人类来源真实 PMI 的基准测试，覆盖三个公开数据集，并评估了五种基于信息论提示的估计方法。我们的主要方法 PromptNCE 将条件概率估计作为对比任务处理，并引入显式的 OTHER 类别来扩充候选集合。我们理论上证明，添加 OTHER 能够恢复真实的条件概率 P(y|x) 而不仅仅是对列出候选值的排序，从而将对比提示转化为通用的零样本概率估计器。PromptNCE 在所有三个数据集上都是最佳的零样本方法，达到了与人类来源 PMI 最多 0.82 的斯皯尔相关系数。我们还在计算机科学教育中展示了一个案例研究，说明这些估计方法可以在低数据环境中用于对学生知识概述进行评分。
引用
@article{arxiv.2605.21776,
title = {PromptNCE: Pointwise Mutual Information Predictions Using Only LLMs and Contrastive Estimation Prompts},
author = {Juliette Woodrow and Chris Piech},
journal= {arXiv preprint arXiv:2605.21776},
year = {2026}
}