外部观察者:构建混合可辨识性与情境 grounding 的足够性间隙的数学扩展
计算与语言
2026-05-27 v1 机器学习
摘要
我们构建了一个具有二元混合过程:一种确定性文本法则与一种受未观测隐状态控制的随机法则。即使是一个完美的、具有无限容量的序列预测器恰好恢复文本-仅边缘分布,也会在观察到的前缀与错误隐状态兼容时变得过于自信。 resulting 的熵差不是普通的优化误差;它是由对未观测状态的边缘化导致的sufficiency gap。我们随后通过一个忠诚度为 的二元辅助信号 formalize 检索、工具使用和外部 grounding。 resulting 的贝叶斯更新 yield 一个情境主导阈值:当该忠诚度超过文本-仅后验概率赋予误导性状态的权重时,纠正信号恰好会反转由文本历史诱导的后验 odds。该阈值减少了,但通常不会消除sufficiency gap;complete closure 需要完美揭示相关隐状态或等效验证机制。该分析阐明了为何温度缩放不能恢复缺失的上下文,为何 grounding 机制必须既信息丰富又可被模型学习使用的原因,以及为何高风险领域的自主序列模型需要结构上解耦的观察者或验证者。
关键词
引用
@article{arxiv.2605.26711,
title = {The Need for an External Observer Formalizing the Sufficiency Gap: A Mathematical Extension of Mixture Identifiability and Contextual Grounding in Sequence Models},
author = {Francesco Corielli},
journal= {arXiv preprint arXiv:2605.26711},
year = {2026}
}