上下文迁移学习：通过迁移相似任务进行演示合成
计算与语言
2024-11-04 v2 机器学习
摘要
上下文学习（ICL）是一种有效的方法，通过提供目标任务的演示来帮助大型语言模型（LLM）适应各种任务。考虑到标注演示的高昂成本，许多方法提出使用LLM从头开始合成演示。然而，从头合成的演示质量受限于LLM的能力和知识。为了解决这个问题，受迁移学习的启发，我们提出了上下文迁移学习（ICTL），它通过迁移来自相似源任务的已标注演示来合成目标任务演示。ICTL包括两个步骤：源采样和目标迁移。首先，我们定义一个优化目标，通过最小化迁移误差来采样与目标任务相似的源演示。然后，我们使用LLM将采样的源演示迁移到目标任务，使其与目标任务的定义和格式相匹配。在Super-NI上的实验表明，ICTL平均比从头合成方法高出2.0%，证明了我们方法的有效性。
引用
@article{arxiv.2410.01548,
title = {In-Context Transfer Learning: Demonstration Synthesis by Transferring Similar Tasks},
author = {Dingzirui Wang and Xuanliang Zhang and Qiguang Chen and Longxu Dou and Xiao Xu and Rongyu Cao and Yingwei Ma and Qingfu Zhu and Wanxiang Che and Binhua Li and Fei Huang and Yongbin Li},
journal= {arXiv preprint arXiv:2410.01548},
year = {2024}
}