自适应记忆晶化：用于动态环境中自主AI代理学习的记忆架构
机器学习
2026-04-16 v1 人工智能
摘要
在动态环境中运行的自主AI代理面临一个持续的挑战：在不擦除先前知识的前提下获取新能力。我们提出了自适应记忆晶化（Adaptive Memory Crystallization, AMC）——一种用于持续强化学习中渐进经验巩固的记忆架构。AMC概念灵感来自突触标记与捕获（STC）理论的定性结构，即记忆经历经历离散的稳定性阶段，但不声称模仿其分子或突触机制。AMC将记忆建模为一个连续的晶化过程，其中经验根据多目标效用信号从可塑状态迁移到稳定状态。该框架引入了由It\^o随机微分方程（SDE）支配的三阶段记忆层次（液态—玻璃态—晶体态），其群体行为由显式的Fokker-Planck方程给出封闭形式的Beta稳态分布。我们提供了以下证明：（i）晶化SDE的良定性和全局收敛性至唯一的Beta稳态分布；（ii）单个晶化状态到其固定点的指数收敛，包含明确的收敛率和方差界；（iii）端到端Q学习误差界及其关联的记忆容量下界，直接将SDE参数与代理性能关联。经验评估在Meta-World MT50、Atari 20游戏顺序学习以及MuJoCo持续 locomotion 任务中，均显示出前向迁移提升（相较于最强基线提升34--43%）、灾难性遗忘减少（降低67--80%）以及62%的内存占用降低。
引用
@article{arxiv.2604.13085,
title = {Adaptive Memory Crystallization for Autonomous AI Agent Learning in Dynamic Environments},
author = {Rajat Khanda and Mohammad Baqar Sambuddha Chakrabarti and Satyasaran Changdar},
journal= {arXiv preprint arXiv:2604.13085},
year = {2026}
}