将情境蒸馏视为潜在记忆管理
机器学习
2026-05-29 v1 人工智能
摘要
情境蒸馏将情境信息压缩到模型参数中，但现有方法往往忽视如何在非 oracle 设置下存储、检索和安全激活多个蒸馏潜在记忆。我们将情境蒸馏建模为潜在记忆管理问题。我们将每个情境蒸馈为独立的 LoRA adapter，形成模块化的记忆库以实现显式记忆选择。给定查询，我们的框架检索候选记忆，将查询路由到最合适的适配器，并使用 Self-Gating 机制决定是否激活潜在记忆。为提高效率，我们进一步引入缓存共享以减少推理期间的管理开销。实验表明，我们的方法在检索方面显著优于基线方法，而 Self-Gating 通过去激活不必要的潜在记忆提高了鲁棒性。
引用
@article{arxiv.2605.28889,
title = {Context Distillation as Latent Memory Management},
author = {Ziyang Zheng and Zeju Li and Xiangyu Wen and Jianyuan Zhong and Junhua Huang and Lei Chen and Mingxuan Yuan and Qiang Xu},
journal= {arXiv preprint arXiv:2605.28889},
year = {2026}
}