利用弱监督解构情境学习中的潜在迁移
计算与语言
2025-10-27 v3 机器学习
摘要
情境学习 (ICL) 通过对提示中标记示例进行条件化来实现少样本学习。尽管其灵活性突出，但 ICL 在提示长度增加（即更多示例）时存在不稳定性。为此，我们将 ICL 视为一种弱监督来源，提出一种参数高效方法，以解构演示诱导的潜在迁移与查询引起的迁移。ICL 基准教师生成未标记查询的伪标签，而学生模型仅使用查询输入进行预测，通过更新轻量级适配器来实现。这捕获了演示效应的紧凑、可重用的形式，使推理更高效，同时保持与新演示的可组合性。尽管在噪声教师输出上进行训练，学生模型仍常常超越其教师，这符合弱到强的泛化效应。我们在实证研究中展示，方法在扩充、稳定性和效率方面均优于标准 ICL 和先前的解构方法，适用于同一领域和跨领域任务。
引用
@article{arxiv.2410.01508,
title = {Disentangling Latent Shifts of In-Context Learning with Weak Supervision},
author = {Josip Jukić and Jan Šnajder},
journal= {arXiv preprint arXiv:2410.01508},
year = {2025}
}
备注
Accepted at NeurIPS 2025