从多源学习并适应开放集测试流中的未知
机器学习
2026-04-02 v1 信息论
math.IT
摘要
大型语言模型（LLMs）通过可复用的表示和灵活的推理实现跨任务泛化，但在不断演化的任务和持续分布漂移的真实部署中仍然脆弱。一种常见的方法是测试时自适应（TTA），现有方法通常使用手工设计的无监督目标在整个参数空间上更新模型，并且大多忽略了共享源知识的保留和自适应信号的可靠性。受果蝇记忆更新的分子信号级联启发，我们提出了突触巩固（SyCo），一种参数高效的LLM自适应方法，该方法通过Rac1和MAPK通路，在由问题理解、过程理解和源域护栏驱动的结构化TTA目标指导下更新低秩适配器。Rac1将可塑性限制在对源知识不太重要的尾梯度子空间，从而在保留源表示的同时实现快速特化。MAPK使用分层控制器抑制噪声更新，并在非平稳流中巩固有用的自适应。为了模拟具有多个源和持续涌现任务的真实部署，我们引入了多源开放集自适应（MOA）设置，其中模型在多个标记的源任务上训练，然后在开放、非平稳的未标记测试流上进行自适应，该测试流混合了已见和未见任务，在标签和意图空间上存在部分重叠。在18个NLP数据集和MOA设置上，SyCo始终优于强基线，在未见任务自适应上达到78.31%，在未见数据漂移上达到85.37%。
引用
@article{arxiv.2604.00533,
title = {Learning from Many and Adapting to the Unknown in Open-set Test Streams},
author = {Xiao Zhang and Juntao Lyu and Tianyu Hu and Qianchuan Zhao and Huimin Ma},
journal= {arXiv preprint arXiv:2604.00533},
year = {2026}
}