扰动导数：基于Bregman损失的野生重拟优模型自由评估
机器学习
2025-11-25 v7 机器学习
摘要
我们研究经典惩罚经验风险最小化（ERM）在Bregman损失下的剩余风险评估。我们表明，通过利用野生重拟（wild refitting）思想，无需依赖底层函数类的全局结构，即可通过所谓的“野生乐观”（wild optimism）有效上界估计剩余风险。这一特性使我们的方法天然具备模型自由性。不同于常规分析，我们的框架仅需一个数据集即可，同时通过对训练程序的黑盒访问实现。该方法涉及随机Rademacher对称化和在适当尺度下对导数空间进行人工修改输出的扰动，随后对其进行二次预测以进行剩余风险估计。我们在固定设计设置下建立高概率性能保证，表明在合适选择的野生噪声尺度下，针对Bregman损失的野生重拟可为剩余风险提供有效上界。因此，我们的工作对于理论上评估现代不透明ML模型（如深度神经网络和生成模型）具有前景，其中函数类过于复杂，难以采用经典学习理论和经验过程技术。
引用
@article{arxiv.2509.02476,
title = {Perturbing the Derivative: Wild Refitting for Model-Free Evaluation of Machine Learning Models under Bregman Losses},
author = {Haichen Hu and David Simchi-Levi},
journal= {arXiv preprint arXiv:2509.02476},
year = {2025}
}