基于对数似然差的领域混合设计：用于将语言模型与目标模型对齐
计算与语言
2026-03-18 v1
摘要
本研究不直接蒸馏语言模型，而是解决将基础模型与目标模型在分布上对齐的问题，将训练数据的领域混合设计作为固定的训练配方用于预训练或继续预训练。我们提出了一种方法，通过将模型视为对数似然空间中的点，并将训练更新方向对齐至指向目标模型的方向来确定领域权重。使用NanoGPT进行实验表明，所提方法相较于对Pile进行均匀加权，能持续降低至目标模型的KL散度。尽管知识蒸馏在可用时仍更为有效，但所提方法仍实现了有意义的对齐，下游任务性能也倾向于接近目标模型。
引用
@article{arxiv.2603.16622,
title = {Domain Mixture Design via Log-Likelihood Differences for Aligning Language Models with a Target Model},
author = {Ryo Kishino and Riku Shiomi and Hiroaki Yamagiwa and Momose Oyama and Hidetoshi Shimodaira},
journal= {arXiv preprint arXiv:2603.16622},
year = {2026}
}