生成模型核评分的偏差-方差-协方差分解
机器学习
2024-07-11 v2 机器学习
摘要
生成模型，如大语言模型，在我们的日常生活中正变得日益重要，然而评估其泛化行为与不确定性的理论框架尚不存在。特别是，不确定性估计问题通常以临时且依赖任务的方式解决。例如，自然语言方法无法迁移到图像生成。在本文中，我们引入了首个针对核评分的偏差-方差-协方差分解。该分解为理论框架，由此我们推导出一种基于核的方差与熵用于不确定性估计。我们为每个量提出了无偏且一致的估计量，其仅需要生成的样本而不需要底层模型本身。基于核的广泛适用性，我们通过图像、音频与语言生成的泛化及不确定性实验展示了我们的框架。具体而言，用于不确定性估计的核熵比现有基线更能预测在 CoQA 与 TriviaQA 问答数据集上的性能，并且也可应用于闭源模型。
引用
@article{arxiv.2310.05833,
title = {A Bias-Variance-Covariance Decomposition of Kernel Scores for Generative Models},
author = {Sebastian G. Gruber and Florian Buettner},
journal= {arXiv preprint arXiv:2310.05833},
year = {2024}
}
备注
Published at ICML 2024: https://openreview.net/pdf?id=QwgSOwynxD