严格proper scoring rules 语言生成
计算与语言
2024-05-30 v1 机器学习
摘要
基于最大似然估计 (MLE) 的语言生成已成为文本生成的基本方法。最大似然估计通常通过最小化对数似然损失实现，也称为统计决策理论中的对数得分。对数得分在严格proper的意义上鼓励诚实的预测，即只有当模型报告真实概率时，预期得分才最大化。尽管存在许多严格proper的评分规则，但对数得分是唯一一种仅依赖于观察样本概率的局部评分规则，这使其能够处理自然语言中指数级大的样本空间。在本工作中，我们提出了一种策略，用于适应评分规则，以实现语言建模，允许使用任何非局部评分规则。利用这一策略，我们使用两种经典的严格proper评分规则，即 Brier 得分和 Spherical 得分，作为对数得分的替代方案进行训练。实验结果表明，仅通过更换损失函数，而不调整其他超参数，即可在模型的生成能力上获得实质性的改进。此外，这些改进可以扩展到大型语言模型（如 LLaMA-7B 和 LLaMA-13B）。源代码: \url{https://github.com/shaochenze/ScoringRulesLM}。
引用
@article{arxiv.2405.18906,
title = {Language Generation with Strictly Proper Scoring Rules},
author = {Chenze Shao and Fandong Meng and Yijin Liu and Jie Zhou},
journal= {arXiv preprint arXiv:2405.18906},
year = {2024}
}
备注
ICML 2024