利用大型语言模型在贝叶斯统计中建议信息性先验分布
统计方法学
2025-06-30 v1 人工智能
计算与语言
摘要
在贝叶斯统计中选择先验分布具有挑战性、资源密集和主观性。我们分析使用大型语言模型 (LLM) 来建议合适的、基于知识的有信息先验分布的方法。我们开发了一个详尽的提示词，要求 LLM 不仅提出建议的先验分布，还要验证和反思其选择。我们在两个真实数据集上评估了 Claude Opus、Gemini 2.5 Pro 和 ChatGPT-4o-mini：心脏病风险和混凝土强度。所有 LLM 正确识别了所有关联的方向（例如，男性的心脏病风险更高）。所提建议的先验分布质量通过其与最大似然估计分布的 Kullback-Leibner 发散进行衡量。 LLM 提出了中等和弱信息先验。中等先验常常过于自信，导致分布与数据不一致。在我们的实验中，Claude 和 Gemini 的表现优于 ChatGPT。对于弱信息先验，性能差异显著：ChatGPT 和 Gemini 默认使用“不必要模糊”的均值为 0，而 Claude 则不是，显示出显著的优势。 LLM 识别正确关联的能力表明其作为开发有信息先验的高效、客观方法具有巨大潜力。然而，主要挑战仍在于校准这些先验的宽度，以避免过度或不足地自信。
引用
@article{arxiv.2506.21964,
title = {Using Large Language Models to Suggest Informative Prior Distributions in Bayesian Statistics},
author = {Michael A. Riegler and Kristoffer Herland Hellton and Vajira Thambawita and Hugo L. Hammer},
journal= {arXiv preprint arXiv:2506.21964},
year = {2025}
}