通过零泄漏重建路由与自主任务发现的模块化持续学习
机器学习
2026-04-17 v1 人工智能
摘要
灾难性遗忘仍然是人工神经网络顺序任务学习中的主要障碍。我们提出一种硅原生模块化架构，通过任务特定专家和基于离群值的分布式门控器实现结构参数隔离。超越传统的顺序整合，我们的框架利用同步流水线，其中教师学习、学生蒸馏和路由器流形获取在原始数据存在于本地训练会话中时并行进行。这种方法确保了计算效率，并符合 GDPR 等隐私规定，一旦任务学习完成即删除原始数据。我们证明，紧瓶颈自编码器（TB-AE）可以有效区分高维潜在空间中语义拥挤的流形，克服标准变分方法固有的后验坍塌。通过建立严格的拓扑边界，我们的 TB-AE 解决了 4096 维 LLM 嵌入中的潜在空间拥挤问题，提供稳健的无监督新颖性信号。此外，我们验证了一种自主检索机制，该机制能够自信地识别返回的流形，从而实现稳定的终身学习，无需冗余的模块实例化。实验结果表明，我们的“实时蒸馏”方法充当了自然正则化器，在计算机视觉和自然语言处理领域实现了强大的保留能力，而不会遭受学生保真度差距。
引用
@article{arxiv.2604.14375,
title = {Modular Continual Learning via Zero-Leakage Reconstruction Routing and Autonomous Task Discovery},
author = {Noureddine Kermiche},
journal= {arXiv preprint arXiv:2604.14375},
year = {2026}
}