一种代理与智能的数学理论

要在变化的条件下可靠地运行，复杂系统需要了解其资源使用的效果，而不仅仅是目标是否达成。当前的 AI 系统处理海量信息以产生精妙的预测，但预测可能在表面上成功，而实际上与环境的相互作用正在恶化。缺失的是一种原则性地度量系统实际部署的总信息量中有多少被其观察、行动和结果所共享的度量。我们证明了这种共享比例，我们称之为 bipredictability，P，是任何相互作用的内在属性，可以从首要原理推导出来，并且严格受限：P 在量子系统中可达 1，在 classical 系统中等于或小于 0.5，引入代理 (行动选择) 后进一步降低。我们在 physical 系统 (双摆)、强化学习 agent 和 多轮 LLM 对话中确认了这些限制。这些结果将代理与智能区分开来：代理是对预测采取行动的能力，而智能额外需要从相互作用中学习、对其学习效果进行自我监控，并调整观察、行动和结果的范围，以恢复有效的学习。按照这一定义，当前的 AI 系统实现了代理但未实现智能。灵感来自生物系统中的 thalamocortical 调节，我们演示了一个实时监控 P 的反馈架构，为自适应、有韧性的 AI 建立了 prerequisite。