小而有趣：一种反馈驱动的幽默蒸馏方法
计算与语言
2024-02-29 v1 人工智能
摘要
大型语言模型（LLM）的出现揭示了有前景的语言生成能力，特别是在执行复杂推理和创意写作等任务时。因此，通过模仿教师回答进行蒸馏已成为一种流行的技术，用于将知识从LLM转移到更易获取的小型语言模型（SLM）。虽然这对于较简单的任务效果良好，但在需要复杂语言理解和创造力的任务（如幽默生成）上，存在显著的性能差距。我们假设这一差距可能源于创造性任务难以仅通过模仿学习，并探索一种涉及教师额外指导的方法是否能带来更高的性能。为此，我们研究了赋予LLM双重角色的效果——既作为生成数据的“教师”，又作为评估学生表现的“评论家”。我们在幽默生成上的实验表明，与仅依赖模仿相比，反馈的融入显著缩小了SLM与其更大对应模型之间的性能差距。因此，我们的研究强调了在通过蒸馏传递复杂语言能力时，将反馈作为数据的一个额外维度的潜力。
引用
@article{arxiv.2402.18113,
title = {Small But Funny: A Feedback-Driven Approach to Humor Distillation},
author = {Sahithya Ravi and Patrick Huber and Akshat Shrivastava and Aditya Sagar and Ahmed Aly and Vered Shwartz and Arash Einolghozati},
journal= {arXiv preprint arXiv:2402.18113},
year = {2024}
}