高效 LLM 上下文蒸馏
机器学习
2025-11-10 v2
摘要
大型语言模型（LLM）在 diverse 任务中表现出色，但往往需要针对特定应用进行定向适应。已提出各种方法来促进这种适应，包括 fewshot 微调、in-context learning 和 context distillation。本文特别研究了 context distillation，这是一种将任务特定的示例内部化以扩展其可访问示例集合从而增强模型推理能力的方法。我们对 context distillation 与 in-context learning（ICL）和 few-shot 微调（FT）进行了比较分析，旨在确定 context distillation 在使用最小 in-context 示例时适应模型的有效性。我们的实验采用来自 Mobach 的匹配数据集，利用 various 规模的 OPT 模型。结果表明，context distillation 有效地适应了模型，学生模型在 in-domain 和 out-of-domain 的准确率可与 in-context learning 相当。尽管 context distillation 在 out-of-domain 推理方面优于 ICL，但未达到 FT 的性能水平。然而，由于数据集大小和计算需求的减少，context distillation 作为小型数据集的可行选择。总体而言，本研究将 context distillation 作为一种高效且强大的方法，用于定制 LLM 以适应特定任务。
引用
@article{arxiv.2409.01930,
title = {Efficient LLM Context Distillation},
author = {Rajesh Upadhayaya and Manish Raj Osti and Zachary Smith and Chritopher Kottmyer},
journal= {arXiv preprint arXiv:2409.01930},
year = {2025}
}