扰动导数：双重野生重拟的模型无关评估不透明机器学习预测器
机器学习
2026-03-26 v3 机器学习
摘要
我们研究了经验风险最小化（ERM）在凸损失下的剩余风险评估问题。我们指出，仅通过对训练算法和单个数据集的黑盒访问，即可利用野生重拟思想对剩余风险进行上界估计，无需依赖底层函数类的全局结构。我们首先生成两个通过对导数进行精心选择的缩放扰动而创建的人造修改伪结果。使用这些伪标记数据集，我们对黑盒程序进行两次重拟以获得两个野生预测器，并在固定设计设置下派生出有效的剩余风险上界。该方法无需了解底层函数类的复杂性，因而是本质上模型无关的，对于评估现代不透明的深度神经网络和生成模型具有巨大的前景，而这些模型的假设类极其复杂，传统学习理论在此类情形下难以实现。
引用
@article{arxiv.2511.18789,
title = {Perturbing the Derivative: Doubly Wild Refitting for Model-Free Evaluation of Opaque Machine Learning Predictors},
author = {Haichen Hu and David Simchi-Levi},
journal= {arXiv preprint arXiv:2511.18789},
year = {2026}
}