中文

minAction.net:能量优先的神经网络架构设计——从生物学原理到系统性验证

机器学习 2026-05-01 v2 定量方法

摘要

现代机器学习在优化精度时未显式处理内部计算成本的代价,尽管物理和生物系统都受内在能量约束的制约。我们在覆盖视觉、文本、神经形态和生理数据集的 2,203 项实验中评估了能量感知学习,每个配置采用 10 个随机种子并进行因子统计分析。三个发现浮现:第一,架构alone仅解释精度方差的微小部分(partial eta^2 = 0.001),而架构×数据集交互作用显著(partial eta^2 = 0.44, p < 0.001),表明最优架构对任务模态至关依赖,否定了普适最优架构假设。第二,在 lambda 范围为 {0, 1e-5, 1e-4, 1e-3, 1e-2} 的受控 lambda 扫描验证了单参数能量正则化目标 L = L_CE + lambda * E(theta, x):在此范围内,内部激活能量相对于未正则化的 lambda=0 基准降低约三个数量级,同时在 MNIST 和 Fashion-MNIST 上保持精度变化小于 0.5 个百分点。第三,能量优先于动力学框架启发的架构在同模训练效率上比传统基线提升 5-33%。这些结果源于一个将学习通过经典力学作用量泛函、统计物理中的自由能与变分推断中的 KL 正则化目标之间的结构对应性解释的研究计划。我们将这种对应性表述为一种设计假设,而非推导。

关键词

引用

@article{arxiv.2604.24805,
  title  = {minAction.net: Energy-First Neural Architecture Design -- From Biological Principles to Systematic Validation},
  author = {Martin G. Frasch},
  journal= {arXiv preprint arXiv:2604.24805},
  year   = {2026}
}

备注

v2: Abstract updated to match revised lambda-sweep results (full sweep range; both MNIST and Fashion-MNIST; ~3 orders of magnitude reduction). Updated author affiliations and emails. Embedded Zenodo data DOI 10.5281/zenodo.19840031. Notation uniformity in Sec 3.4. Fig S2(a) caption clarified. Corrected Zenodo archive size in Appendix A (95 MB compressed)