模型设定的变异性
机器学习
2021-10-07 v1 统计理论
应用统计
统计理论
摘要
人们将一个好的模型视为在偏差与方差之间折中的产物，这被视为公理。偏差由训练代价度量，而（例如回归）模型的方差则由与验证集相关的代价来度量。若以降低偏差为目标，人们会力求获取必要复杂度尽可能高的模型，但复杂度总是与方差相伴：更大的复杂度意味着更大的方差。在实践中，将训练代价降至接近于零并不构成根本性问题；事实上，一个足够复杂的决策树完全能够将训练代价降至零；然而，问题通常出在控制模型方差上。我们研究了多种回归模型框架，包括广义线性模型、Cox 比例风险模型、ARMA，并阐明了模型误设如何影响方差。
引用
@article{arxiv.2110.02490,
title = {The Variability of Model Specification},
author = {Joseph R. Barr and Peter Shaw and Marcus Sobel},
journal= {arXiv preprint arXiv:2110.02490},
year = {2021}
}
备注
8 pages, 1 figure