利用变分拉普拉斯推断模拟稀疏先验的参数变换
机器学习
2017-03-22 v1 神经元与认知
摘要
所谓的稀疏估计器出现在模型拟合的背景下，即当人们先验地假设只有少数（未知的）模型参数偏离零时。当估计问题是不适定的（即模型参数数量远大于数据点数量）时，稀疏约束会很有用。通常，此类约束通过最小化L1范数来实施，从而产生所谓的LASSO估计器。在这项工作中，我们提出了一种简单的参数变换，它能在不牺牲L2范数正则化方案的简洁性与鲁棒性的前提下模拟稀疏先验。我们展示了如何在正态贝叶斯先验下通过参数的“稀疏化”重映射获得L1正则化，并利用蒙特卡洛模拟演示了随之而来的变分拉普拉斯方法。
引用
@article{arxiv.1703.07168,
title = {On parameters transformations for emulating sparse priors using variational-Laplace inference},
author = {Jean Daunizeau},
journal= {arXiv preprint arXiv:1703.07168},
year = {2017}
}