基于仪表回归的深度生成模型保守预测集
机器学习
2025-06-18 v2 人工智能
摘要
我们考虑通过对给定输入（例如文本提示）从黑盒深度生成模型中采样输出（例如软件代码和自然语言文本）来生成有效且小的预测集的问题。预测集的有效性由用户定义的二元可接受性函数决定，这取决于目标应用。例如，要求集合中至少有一个程序通过所有测试用例以 code generation 应用为例。为此，我们开发一种简单且有效的仪表推断算法，称为生成预测集 (GPS)。给定一组校准示例和对深度生成模型的黑盒访问权限，GPS 可生成具有可证明保证的预测集。GPS 的关键洞察在于利用获取可接受输出所需的最小样本数分布中固有的结构，以 develop 一个简单的仪表回归方法。针对 code 和 math word problems 数据集上的实验，使用不同的大型语言模型 demonstrate了 GPS 在 state-of-the-art 方法之上的有效性。
引用
@article{arxiv.2503.10512,
title = {Conformal Prediction Sets for Deep Generative Models via Reduction to Conformal Regression},
author = {Hooman Shahrokhi and Devjeet Raj Roy and Yan Yan and Venera Arnaoudova and Janaradhan Rao Doppa},
journal= {arXiv preprint arXiv:2503.10512},
year = {2025}
}