通过对比上下文采样训练上下文与权重内混合模型
机器学习
2026-04-03 v1
摘要
我们研究了共同发展上下文学习（ICL）和权重内学习（IWL）的训练策略，以及基于上下文相关性在两者之间切换的能力。尽管当前LLM同时表现出两种模式，但标准任务特定微调往往会侵蚀ICL，这促使了IC-Train——使用上下文示例进行微调。先前的研究表明，IC-Train后ICL的出现取决于任务多样性和训练时长等因素。在本文中，我们证明目标输入与上下文示例之间的相似性结构也起着重要作用。随机上下文会导致ICL和IWL的丧失，而上下文中仅有相似示例会导致ICL退化为不考虑相关性的标签复制。为了解决这个问题，我们提出了一种简单的对比上下文（Contrastive-Context），它强制两种类型的对比：（1）上下文中混合相似和随机示例以演化正确形式的ICL，（2）跨上下文变化相似程度等级以演化ICL-IWL混合。我们通过一个最小模型的理论分析提供了这种对比重要性的见解。我们通过四个LLM和多个任务的广泛实证评估进行了验证。诊断探针证实，对比上下文产生了稳定的ICL-IWL混合，避免了退化为纯ICL、纯IWL或复制。
引用
@article{arxiv.2604.01601,
title = {Training In-Context and In-Weights Mixtures Via Contrastive Context Sampling},
author = {Deeptanshu Malu and Deevyanshu Malu and Aditya Nemiwal and Sunita Sarawagi},
journal= {arXiv preprint arXiv:2604.01601},
year = {2026}
}