基于组合适配器的上下文参数化
计算与语言
2026-01-30 v3
摘要
大型语言模型（LLMs）通常通过上下文学习（ICL）或监督微调（SFT）无缝适应新任务。然而，当处理大量示例时 ICL 效率低下，而 SFT 会带来训练开销同时牺牲灵活性。将上下文中的指令或示例直接映射到适配器参数是一种有吸引力的替代方案。虽然先前工作探索了基于单一输入上下文生成适配器，但它忽视了整合多块信息的需要。为填补这一空白，我们引入了 CompAs，一个元学习框架，将上下文翻译为具有组合结构的适配器参数，使其可以代数地合并。该方法带来三个优势：降低推理成本、在长上下文下提高稳定性，以及在输入超出模型上下文窗口时提供原则性解决方案。此外，CompAs 可逆地将信息编码到适配器参数中，实现原始输入上下文的恢复并促进安全性。在多样化多项选择和抽取式问答任务上的实验结果表明，CompAs 优于 ICL 和先前的基于生成器的方法，尤其是在扩展到更多输入时。我们的工作建立了可组合适配器生成作为扩展 LLM 部署的实用且高效的替代方案。
引用
@article{arxiv.2509.22158,
title = {Context Parametrization with Compositional Adapters},
author = {Josip Jukić and Martin Tutek and Jan Šnajder},
journal= {arXiv preprint arXiv:2509.22158},
year = {2026}
}