FlyPrompt：受脑部随机扩展路由和时序集成专家启发的通用持续学习框架
机器学习
2026-03-25 v3 人工智能
计算机视觉与模式识别
摘要
通用持续学习 (GCL) 挑战在于从单遍、非平稳数据流中学习，且缺乏清晰的任务边界。虽然近期在预训练模型上进行持续参数高效调优 (PET) 的最新进展显示出前景，但这些方法通常依赖多个训练 epoch 和显式任务线索，限制了其在 GCL 场景中的效果。此外，现有方法往往缺乏针对性设计，未能解决持续 PET 中的两个根本挑战：如何为演变的数据分布分配专家参数，以及如何在受限监督下提升其表示能力。以果蝇层次记忆系统中稀疏扩张和模块化集团为灵感，我们提出 FlyPrompt 框架，将 GCL 分解为两个子问题：专家路由和专家能力提升。FlyPrompt 引入基于随机扩展的分析路由器，用于实例级专家激活，并引入时序集成的输出头，以动态适应决策边界的演变。广泛的理论和实证评估表明，FlyPrompt 在 CIFAR-100、ImageNet-R 和 CUB-200 上的性能分别优于最新基线方法提升了最高可达 11.23%、12.43% 和 7.62%。我们的源代码已公开于 https://github.com/AnAppleCore/FlyGCL。
引用
@article{arxiv.2602.01976,
title = {FlyPrompt: Brain-Inspired Random-Expanded Routing with Temporal-Ensemble Experts for General Continual Learning},
author = {Hongwei Yan and Guanglong Sun and Kanglei Zhou and Qian Li and Liyuan Wang and Yi Zhong},
journal= {arXiv preprint arXiv:2602.01976},
year = {2026}
}
备注
34 pages. Accepted by ICLR 2026