信息论必然性:压缩与智能的认知基础
人工智能
2026-03-03 v2 信息论
math.IT
摘要
为什么大脑和深度网络会收敛到相似的表示?任务优化的人工神经网络尽管具有根本不同的基质和优化动态,却能定量预测灵长类动物腹侧视觉通路的响应。这种收敛需要超越共享的自然图像统计或任务结构本身的解释。压缩效率原则(CEP)明确了选择机制:利用不稳定相关性的表示会支付不断增长的“异常税”(在捷径翻转偏移下近似线性的超额码长),而编码偏移稳定不变量的表示则摊销了此成本。当环境提供干预丰富的偏移并呈现近似模块化的因果结构时,这些不变量与因果机制对齐。该框架为三个生物学特征——神经信号传导的陡峭代谢约束、早期感觉通路的高编码效率以及腹侧通路的分层容错性——提供了统一视角,并将它们与深度学习中的并行现象联系起来:扩展前沿、分布偏移下的捷径失效以及数据增强在强制执行不变性中的作用。随之而来的是独特的预测:一个交叉阈值,超过该阈值不变量表示占主导地位;以及压缩效率与分布外鲁棒性之间的系统性耦合——可在不同基质上检验。预测的分歧(稀疏的生物信号传导与密集的过参数化)源于共享权衡拓扑上的不同资源约束。这种收敛并非巧合。它是偏移下预测性压缩所形成的与基质无关的吸引盆地的证据。
引用
@article{arxiv.2510.25883,
title = {The Information-Theoretic Imperative: Compression and the Epistemic Foundations of Intelligence},
author = {Christian Dittrich and Jennifer Flygare Kinne},
journal= {arXiv preprint arXiv:2510.25883},
year = {2026}
}
备注
61 pages, 3 tables, 3 figures, 2 appendices. Submitted to arXiv for open access