不忘记的路由
组合数学
2026-03-11 v1 群论
摘要
变压器中的持续学习通常通过参数高效适应来解决：prompt、adapter 或 LoRA 模块为每个任务专门化，而主干网络保持冻结。虽然在受控的多 epoch 设置下有效，但这些方法依赖渐进的梯度基础专化，在在线持续学习 (OCL) 中难以胜任，因为数据以非平稳流形式到达，每个样本可能只能被观察一次。我们将变压器中的持续学习重新表述为路由问题：在严格的在线约束下，模型必须为每个输入动态选择合适的表示子空间，而无需显式任务标识符或重复优化。因此，我们引入不忘记路由 (Routing without Forgetting, RwF)，一种增强了变压器架构的方案，采用受能量的关联检索层（受现代 Hopfield 网络启发），实现单步关联检索，以生成动态 prompt。检索对应于严格凸函数自由能功能的闭式最小化，使每个前向传递内都能实现输入条件路由，独立于迭代梯度细化。在挑战性的类递增基准测试中，RwF 在已有 prompt-based 方法之上大幅提升。在 Split-ImageNet-R 和 Split-ImageNet-S 上，RwF 即使在 few-shot 学习情境下，也显著优于先前的 prompt-based 方法。这些结果表明，将能量的关联路由直接嵌入变压器主干中，为 OCL 提供了原则且有效的基础。
引用
@article{arxiv.2603.09575,
title = {On Some Bi-Cayley Graphs over Cyclic Groups of Order $p^2 q^2$ and Related Extensions},
author = {Iqbal Atmaja and Yeni Susanti and Ahmad Erfanian},
journal= {arXiv preprint arXiv:2603.09575},
year = {2026}
}
备注
21 pages, 3 figures, partially presented in the Indonesian Algebra Society Seminar 2025