论极大似然估计在回归与预测中的益处
机器学习
2021-10-12 v2 人工智能
机器学习
摘要
我们提倡一种实用的极大似然估计（MLE）方法来设计回归与预测的损失函数，以替代在特定目标度量上直接进行经验风险最小化的典型做法。MLE 方法更适于捕捉归纳偏置（如数据集中先验领域知识），并能在推断时输出可优化不同类型目标度量的事后估计量。我们给出理论结果表明，在某些一般条件下，我们的方法与针对目标度量的任意估计量相比具有竞争力。在两个示例性实际设定——泊松回归与帕累托回归中，我们展示了可利用我们的竞争结果证明 MLE 方法比直接最小化目标度量具有更好的超额风险界。我们还通过实验证明，用设计良好的通用混合似然族实例化的方法，能在具有不同数据分布的时间序列预测与回归数据集的多种任务上获得优越性能。
引用
@article{arxiv.2106.10370,
title = {On the benefits of maximum likelihood estimation for Regression and Forecasting},
author = {Pranjal Awasthi and Abhimanyu Das and Rajat Sen and Ananda Theertha Suresh},
journal= {arXiv preprint arXiv:2106.10370},
year = {2021}
}