基于 LLM 的 Solomonoff 启发假设排序用于不确定性下的预测
人工智能
2025-12-23 v2 信息论
math.IT
摘要
在不确定性下进行推理是 AI 中的关键挑战，尤其是对于数据稀疏的实际任务，更需要系统的泛化。现有方法在评估多个候选解决方案时难以平衡准确性和简洁性。我们提出一种 Solomonoff 启发的方法，通过简洁性和预测拟合度对 LLM 生成的假设进行加权。应用于基准 (Mini-ARC) 任务时，我们的方法为每个单元格预测生成 Solomonoff 加权混合物，产生保守且具不确定性感知的输出，即使假设噪声或部分不正确亦可如此。与贝叶斯模型平均 (BMA) 比较，Solomonoff 评分在竞争性假设之间更均匀地分布概率，而 BMA 则集中于最可能但可能不正确的候选者。跨任务而言，这凸显了算法信息论先验对于可解释、可靠的多假设不确定性下推理的重要性。
引用
@article{arxiv.2512.17145,
title = {Solomonoff-Inspired Hypothesis Ranking with LLMs for Prediction Under Uncertainty},
author = {Josh Barber and Rourke Young and Cameron Coombe and Will Browne},
journal= {arXiv preprint arXiv:2512.17145},
year = {2025}
}
备注
10 pages, ACRA 2025, Submitted, Accepted and Presented