中文

熵-储油 Bregman 投影:模型崩溃的信息几何统一

机器学习 2025-12-18 v1 人工智能

摘要

自指学习——即训练模型时使用模型自身生成的数据——虽然承诺着无限扩展的可扩展性,却长期因模型崩溃而受阻:语言模型退化为重复文本,GAN 丢失模式,强化学习策略过度开发。尽管实践者采用各种 ad hoc 解决方案,如混合真实数据、熵奖励、知识蒸馏或检索增强生成,但尚未存在一种解释这些失效模式及其成功方法的统一原理。我们提出 Entropy-Reservoir Bregman Projection(ERBP),一种信息几何框架,统一了这些现象。我们将闭环建模为分布空间中的随机 Bregman 投影序列。缺乏外部耦合时,有限样本噪声迫使系统投射到不断收缩的经验支持上,导致指数级熵衰减并最终导致崩溃。引入熵储油——一种高熵分布混合到每次投影中——注入可控制的熵流,证明可稳定系统动力学。我们的理论产生 (i) 崩溃的必要条件,(ii) 保证非平凡熵底的充分条件,以及 (iii) 仅依赖于样本大小和 Bregman 生成器的强凸性/Lipschitz 常数的闭式收敛速率。在大规模语言模型自训练、Soft Actor-Critic 强化学习以及 GAN 优化实验中,我们验证了这些预测,表明各种不同的稳定化经验法门对应于特定的储油选择和耦合系数。ERBP 将一系列民间偏方转化为单一的、定量的设计规则:监控和预算你的熵流。

关键词

引用

@article{arxiv.2512.14879,
  title  = {Entropy-Reservoir Bregman Projection: An Information-Geometric Unification of Model Collapse},
  author = {Jingwei Chen},
  journal= {arXiv preprint arXiv:2512.14879},
  year   = {2025}
}