似然方差作为文本重要性用于重采样文本以映射语言模型
计算与语言
2025-05-22 v1
摘要
我们研究了构建模型映射的计算成本，该映射将多种语言模型嵌入到公共空间中以便通过 KL 散度进行比较。该映射依赖于大规模文本集上的对数似然，使得成本与文本数量成正比。为降低这一成本，我们提出了一种重采样方法，根据每条文本在各模型间对数似然的方差，以与该方差成比例的权重选择重要文本。我们的方法在保持 KL 散度估计精度的同时，显著减少了所需文本数量。实验表明，该方法仅需约一半数量的文本即可达到与均匀采样相当的性能，并且还能高效地将新模型集成到已有映射中。这些结果使得语言模型映射的可扩展和高效构建成为可能。
引用
@article{arxiv.2505.15428,
title = {Likelihood Variance as Text Importance for Resampling Texts to Map Language Models},
author = {Momose Oyama and Ryo Kishino and Hiroaki Yamagiwa and Hidetoshi Shimodaira},
journal= {arXiv preprint arXiv:2505.15428},
year = {2025}
}