挑剔的婴儿只需一位教练：利用反向KL散度诱导BabyLlama的模式寻求行为
计算与语言
2024-10-30 v1
摘要
本研究介绍了我们提交给第二届 BabyLM 挑战赛 Strict-Small 赛道的成果。我们采用以 BabyLLaMa 模型为骨干的教师-学生蒸馏设置。为了使学生的学习过程更加专注，我们将目标函数替换为反向 Kullback-Leibler 散度，已知该散度会在计算学习者中引起模式寻求（而非模式平均）行为。我们进一步尝试使用单一教师（而非两名教师的集成），并实施了额外的优化策略以改进蒸馏过程。我们的实验表明，在反向 KL 散度下，单一教师模型在大多数任务上的表现通常优于或持平于多教师模型。此外，结合先进的优化技术进一步提升了模型性能，证明了我们提出的方法的有效性和鲁棒性。这些发现支持了我们的观点，即“挑剔的宝宝需要一位教练”。
引用
@article{arxiv.2410.22081,
title = {Choosy Babies Need One Coach: Inducing Mode-Seeking Behavior in BabyLlama with Reverse KL Divergence},
author = {Shaozhen Shi and Yevgen Matusevych and Malvina Nissim},
journal= {arXiv preprint arXiv:2410.22081},
year = {2024}
}