创造性变异的几何学：信德集如何暴露语言模型中的校准差距
计算与语言
2025-09-30 v1
摘要
理解大型语言模型中的不确定性仍是一个根本性挑战，尤其是在存在多个有效输出的创造性任务中。我们提出了一个几何框架，使用信德集（概率分布的凸包）来量化和分解神经文本生成中的不确定性，将其校准为人类创造性变异。我们分析了来自 WritingPrompts 数据集的 500 个创意写作提示，每个提示有 10 个独特的人类延续文本。我们对四个语言模型进行评估，测试五种解码策略，生成 100,000 篇故事。我们的信德集分析揭示了捕获人类创造性变异方面的重大差距，最佳模型-人类校准水平仅为 0.434（Gemma-2B 使用温度 0.7）。我们将总不确定性分解为认知不确定性和 aleatoric 不确定性，发现解码策略的选择对总认知不确定性的贡献在 39.4% 到 72.0% 之间。模型规模与校准质量之间呈现弱相关，基本模型和指令调优模型在校准质量上没有显著差异。我们的几何框架为改进面向人类-人工智能创意对齐的生成系统提供了可操作的见解。我们发布了完整的实验框架。
引用
@article{arxiv.2509.23088,
title = {The Geometry of Creative Variability: How Credal Sets Expose Calibration Gaps in Language Models},
author = {Esteban Garces Arias and Julian Rodemann and Christian Heumann},
journal= {arXiv preprint arXiv:2509.23088},
year = {2025}
}
备注
Accepted at the 2nd UncertaiNLP Workshop @ EMNLP 2025