MoRe：面向序列数据原则性持续表示学习的模块化表示
机器学习
2026-05-21 v3
摘要
持续学习要求模型在适应新数据的同时保持先前获取的知识。从核心来看，这一挑战可被视为原则性的一步适应：以对现有表示的最小干扰来融入新信息。大多数现有方法以有监督、任务特定的方式修改模型参数或架构来解决这一挑战。然而，根本问题是表示层面的：任务需要不同但结构化的表示，这些表示可以被选择性更新而不破坏其他表示，同时结构应反映数据的内在组织而非任务边界。在序列数据中，时延依赖为揭示这种组织提供了自然信号，展示了基础表示如何衍生出更特定的表示。受人脑模块化组织的启发，我们提出了 MoRe，这是一个在表示本身识别模块性而非在架构层面分配模块性的框架。MoRe 将知识分解为具有可辨识性保证的基础和特定模块的层次结构，在适应过程中实现原则性的模块重用、对齐和扩展，同时通过构造保持旧模块。在合成基准和真实世界 LLM 激活上的实验展示了可解释的层次结构，并改善了可塑性-稳定性权衡，表明 MoRe 可作为持续适应的原则性基础。
引用
@article{arxiv.2605.14364,
title = {MoRe: Modular Representations for Principled Continual Representation Learning on Sequential Data},
author = {Jiaqi Sun and Boyang Sun and Rasmy M. H. and Xiangchen Song and Kun Zhang},
journal= {arXiv preprint arXiv:2605.14364},
year = {2026}
}