结构化知识积累：前向神经学习中熵最小作用原理
机器学习
2025-04-07 v1
摘要
本文旨在扩展最近由 \cite{mahi2025ska} 提出的结构化知识积累 (SKA) 框架。我们引入两个核心概念：Tensor Net 函数和神经学习的特征时间属性。首先，我们将学习率重新解释为连续系统中的时间步长。这将神经学习从离散优化转化为连续时间演化。我们展示，当学习率乘以迭代步数保持不变时，学习动力学保持一致。这揭示了时间不变行为并识别了网络的内在时间尺度。其次，我们定义 Tensor Net 函数作为衡量决策概率、熵梯度和知识变化之间关系的度量。此外，我们将其零交叉定义为决策概率与熵梯度之间的平衡状态。我们表明，熵和知识流的收敛为自然停止条件提供了一种取代任意阈值的信息论标准。我们还建立了 SKA 动力学满足基于 Euler-Lagrange 方程的变分原理。这些发现将 SKA 扩展为连续和自组织学习模型。该框架将计算学习与依据自然规律演化的物理系统联系起来。通过将学习理解为基于时间的过程，我们为构建高效、稳健且受生物学启发的 AI 系统开辟了新方向。
引用
@article{arxiv.2504.03214,
title = {Structured Knowledge Accumulation: The Principle of Entropic Least Action in Forward-Only Neural Learning},
author = {Bouarfa Mahi Quantiota},
journal= {arXiv preprint arXiv:2504.03214},
year = {2025}
}
备注
18 pages, 6 figures