面向神经网络且具有覆盖保证的快速无分布预测推断
机器学习
2023-06-13 v1 机器学习
摘要
本文提出一种新颖、计算高效的预测推断（PI）算法，该算法无需对数据做任何分布假设，且比现有的神经网络自助法（bootstrap）类方法计算更快。具体而言，若有个训练样本，自助法需要在个大小为的子样本上分别训练模型；对于神经网络等大型模型，该过程在计算上难以承受。相比之下，我们提出的方法在全数据集上训练一个具有-差分隐私（DP）的神经网络，然后围绕该差分隐私神经网络估计量使用线性近似高效逼近每个留一法模型。在可交换数据下，我们证明了无论数据分布如何，我们的方法具有依赖于预设隐私参数和神经网络稳定性的严格覆盖保证。在合成与真实数据上的仿真和实验表明，与自助法相比，我们的方法以大幅减少的计算量满足了覆盖保证。
引用
@article{arxiv.2306.06582,
title = {Fast, Distribution-free Predictive Inference for Neural Networks with Coverage Guarantees},
author = {Yue Gao and Garvesh Raskutti and Rebecca Willet},
journal= {arXiv preprint arXiv:2306.06582},
year = {2023}
}