扩张生成模型中的边际收益递减与哥德尔-塔斯克-洛布极限

现代生成式建模系统通过扩大模型容量、训练数据和计算资源来不断改进。尽管已有经验性研究在包括生成对抗网络、变分自编码器、基于转换器的模型和扩散模型在内的各种体系结构中记录了此类规模行为，但生成式系统能力增长的理论极限仍然鲜为人知。本文发展出一种用于分析扩张式生成推理系统的通用任务空间框架。每个系统诱导全局任务空间的一个子集，表示其能够成功解决的任务，系统能力通过该解题子集在固定任务分布下的概率质量来衡量。在此框架下，我们证明了结构结果：在温和假设下，随着系统容量增加，解题任务的边际改进必须收敛于零。因此，扩张式生成系统可能继续获得能力，但新求解任务的概率质量必然在渐近上递减。我们进一步提供了基于算法概率启发的复杂度加权假设类预测理论细化，给出预测情境下边际改进的定量界限。最后，我们检视逻辑推理任务，表明数学逻辑中的经典结果——包括罗森不完备性、塔斯克不可定义定理和洛布定理——意味着在足够表达力的推理系统中，未解决的逻辑任务将持续存在。这些结果共同提供了关于扩张式生成系统渐近行为的数学视角，表明长期能力增长受到边际任务覆盖递减以及内部推理的根本逻辑限制两方面的约束。