基于路径的渐进推理 (PaPI) 用于能效高效的持续学习
机器学习
2025-06-24 v1 人工智能
摘要
持续学习系统面临两个挑战：防止灾难性遗忘同时保持能效，尤其是在资源受限的环境中。本文引入了基于路径的渐进推理（Pathway-based Progressive Inference, PaPI），这是一种新型理论框架，通过对路径选择和适应的严谨数学方法来解决这些挑战。我们将持续学习表述为能源受限的优化问题，并为我们的路径路由机制提供形式收敛保证。我们的理论分析表明，PaPI在稳定-塑性权衡上相较于单一体系结构实现 的改进，其中 为路径数量。我们使用Fisher信息矩阵分析推导了遗忘率的紧密上界，并证明PaPI的能耗随激活参数数量而非总模型规模而扩展。与弹性权重Consolidation（EWC）和梯度 Episodic Memory（GEM）的比较理论分析表明，PaPI在防止灾难性遗忘方面提供更强的保证，同时在能源效率方面优于EWC和GEM。我们的实验验证在多个基准测试上确认了这些理论优势，证明了PaPI在能源受限环境中的持续学习效果。我们的代码已公开于 https://github.com/zser092/PAPI_FILES。
关键词
引用
@article{arxiv.2506.17848,
title = {Pathway-based Progressive Inference (PaPI) for Energy-Efficient Continual Learning},
author = {Suyash Gaurav and Jukka Heikkonen and Jatin Chaudhary},
journal= {arXiv preprint arXiv:2506.17848},
year = {2025}
}