结构化知识积累：面向神经网络层级熵减的自主框架
机器学习
2025-03-19 v1 神经与进化计算
摘要
我们引入结构化知识积累( SKA) 框架，将熵重新解释为神经网络中知识对齐的动态、层级度量。与依赖传统梯度优化不同，SKA 将熵定义为知识向量及其对决策概率影响的度量，这种表述自然导致如 sigmoid 等激活函数的出现，这是熵最小化的结果。与常规反向传播不同，SKA 允许每个层独立优化，通过对齐其知识表征与决策概率变化来实现。因此，网络总熵以层级方式逐步减小，知识结构逐渐演化。该方法为梯度基于学习提供了可扩展、生物学上可信的替代方案，连接了信息论与人工智能，同时在资源受限和并行计算环境中展现出广泛应用前景。
引用
@article{arxiv.2503.13942,
title = {Structured Knowledge Accumulation: An Autonomous Framework for Layer-Wise Entropy Reduction in Neural Learning},
author = {Bouarfa Mahi Quantiota},
journal= {arXiv preprint arXiv:2503.13942},
year = {2025}
}
备注
16 pages, 6 figures