耗散学习:面向可存活自适应系统的框架
机器学习
2026-01-27 v1 计算机视觉与模式识别
摘要
我们提出了一种将学习视为内在耗散过程的视角。遗忘和正则化不是启发式的附加项,而是自适应系统的结构性要求。借鉴信息论、热力学和信息几何,我们引入了BEDS(贝叶斯涌现耗散结构)框架,将学习建模为在耗散约束下压缩信念状态的演化。一个核心贡献是条件最优性定理,该定理表明,通过信息散度而非欧氏距离测量变化的Fisher-Rao正则化是唯一的热力学最优正则化策略,可实现最小耗散。欧氏正则化被证明在结构上是次优的。该框架将现有方法(Ridge、SIGReg、EMA、SAC)统一为单一控制方程的特殊情况。在这一视角下,过拟合对应于过度结晶,而灾难性遗忘反映了耗散控制不足。该框架区分了信念收敛到稳定平衡的BEDS可结晶问题与需要持续适应的BEDS可维持问题。它自然地扩展到持续和多智能体系统,其中在适应和有限资源下的可存活性与稳定性取代渐近最优性成为主要标准。总体而言,这项工作将学习重新构建为在耗散约束下维持可存活信念状态,为遗忘、正则化和稳定性提供了原则性视角。
引用
@article{arxiv.2601.17933,
title = {Dissipative Learning: A Framework for Viable Adaptive Systems},
author = {Laurent Caraffa},
journal= {arXiv preprint arXiv:2601.17933},
year = {2026}
}
备注
68 pages, 14 figures