记忆集成可重构适配器:面向多任务场景的统一框架
机器学习
2025-12-02 v1
摘要
生物体在面对捕食者逃避、觅食、穿越崎岖地形和社交等任务时,常需在毫秒级时间内快速切换。令人惊叹的是,它们能在不产生灾难性遗忘的情况下保留已学习环境的知识,这一现象被神经科学家推测与单一神经电路—通过多巴胺和乙酰胆碱等神经调节剂动态叠加—有关。并行地,深度学习研究通过领域泛化(DG)和持续学习(CL)等方法处理类似挑战,但这些方法仍然孤立存在,尽管大脑能无缝完成这两者。特别是, prior work 尚未探索涉及关联记忆(associative memory, AM)的架构,这类记忆是生物系统的关键组成部分,以联合应对这些任务。我们提出记忆集成可重构适配器(Memory-Integrated Reconfigurable Adapters, MIRA),一种统一框架在共享 backbone 上叠加 Hopfield 式关联记忆模块。关联记忆 key 通过后置学习,用于索引和检索存储的适配器更新的仿射组合,以任意给定任务或域在每个样本级别上进行索引。仅通过变化任务特定目标,我们展示 MIRA 在单一框架下无缝适应领域迁移和顺序任务暴露。在标准基准上的经验评估表明,MIRA 的 AM 增强架构显著提升了适应性和保持能力:在 DG 中,MIRA 实现了超越现有 work 的最佳(SOTA)外分布准确率;在增量学习情境下,它超越专为处理灾难性遗忘而设计的通用 CL 算法的架构。通过将适配器基调与生物学启发的关联记忆统一,MIRA 在单一可扩展架构中实现快速任务切换和持久知识保存,指明了通往更灵活和记忆增强 AI 系统的道路。
关键词
引用
@article{arxiv.2512.00940,
title = {Memory-Integrated Reconfigurable Adapters: A Unified Framework for Settings with Multiple Tasks},
author = {Susmit Agrawal and Krishn Vishwas Kher and Saksham Mittal and Swarnim Maheshwari and Vineeth N. Balasubramanian},
journal= {arXiv preprint arXiv:2512.00940},
year = {2025}
}
备注
NeurIPS 2025; 31 pages, 2 figures