复杂与深度模型中机器学习的马蹄正则化
统计方法学
2019-11-25 v2 机器学习
摘要
自马蹄先验用于正则化以来，全局-局部收缩方法已被证明是机器学习中贝叶斯方法发展的沃土，特别是在高维回归和分类问题中。它们在计算上取得了显著成功，并享有强有力的理论支持。现有文献大多集中于线性高斯情形；参见 Bhadra 等人（2019b）的系统性综述。本文的目的是通过回顾与机器学习应用更相关的复杂模型中的方法和计算进展，来证明马蹄正则化的用途要广泛得多。具体而言，我们关注非线性与非高斯模型、多元模型以及深度神经网络中马蹄正则化的方法论挑战。我们还概述了近期针对复杂模型的马蹄收缩计算进展，并列出了可用的软件实现，使人能够超越典型线性回归问题的舒适区进行探索。
引用
@article{arxiv.1904.10939,
title = {Horseshoe Regularization for Machine Learning in Complex and Deep Models},
author = {Anindya Bhadra and Jyotishka Datta and Yunfan Li and Nicholas G. Polson},
journal= {arXiv preprint arXiv:1904.10939},
year = {2019}
}