幻觉是空间最优性的必然结果：关于成员测试的速率失真定理
机器学习
2026-04-07 v6 人工智能
计算与语言
数据结构与算法
信息论
math.IT
摘要
大型语言模型常常对缺乏可推理模式的“随机事实”抱持高度自信的幻觉观。我们将此类事实的记忆形式化为成员测试问题，统一了Bloom过滤器的离散误差指标与语言模型的连续对数损失。在事实在合理主张宇宙中稀疏的范畴内分析本问题时，我们建立了速率失真定理：最优记忆效率由事实与非事实得分分布之间最小KL散度所特征。该理论框架为幻觉提供了独特解释：即便在最优训练、完美数据及简化的“封闭世界”设定下，受限容量下的信息论最优策略并非放弃或遗忘，而是对某些非事实赋予高置信度，从而导致幻觉。我们在合成数据上经验性地验证了此理论，表明幻觉作为有损压缩的自然结果仍然存在。
引用
@article{arxiv.2602.00906,
title = {Hallucination is a Consequence of Space-Optimality: A Rate-Distortion Theorem for Membership Testing},
author = {Anxin Guo and Jingwei Li},
journal= {arXiv preprint arXiv:2602.00906},
year = {2026}
}