函数风险最小化
机器学习
2024-12-31 v1
摘要
机器学习领域自1970年代以来发生了巨大变化。然而，其最基本的原则——经验风险最小化(ERM)——保持不变。我们提出函数风险最小化(FRM)，一个通用框架，其中损失函数比较的是函数而非输出。这在监督、无监督和RL实验中表现出更好的性能。在FRM范式中，对于每个数据点都有一个函数拟合它：。这使得FRM能够包含许多常见损失函数的ERM，并捕捉更真实的噪声过程。我们还显示，FRM提供了一种理解现代过参数化 regime中泛化的途径，因为其目标可以表述为寻找拟合训练数据的简单模型。
引用
@article{arxiv.2412.21149,
title = {Functional Risk Minimization},
author = {Ferran Alet and Clement Gehring and Tomás Lozano-Pérez and Kenji Kawaguchi and Joshua B. Tenenbaum and Leslie Pack Kaelbling},
journal= {arXiv preprint arXiv:2412.21149},
year = {2024}
}