参数化学习与蒙特卡洛优化
机器学习
2011-11-09 v1
摘要
本文揭示并探讨了参数化积分蒙特卡洛优化（MCO）、参数化机器学习（PL）和“黑箱”或“预言机”优化（BO）之间的密切关系。我们做出了四项贡献。首先，我们证明了MCO在数学上与一大类PL问题相同。这种同一性可能为所有广泛适用的PL技术提供了一个新的应用领域：MCO。其次，我们引入了即时采样，这是一种用于黑箱优化的概率集合（PC）算法的新版本。即时采样将原始BO问题转化为MCO问题。因此，通过结合前两项贡献，我们可以将所有PL技术应用于BO。在第三项贡献中，我们通过证明交叉验证和Bagging改进了即时采样，从而验证了这种改进BO的方法。最后，传统的MC和MCO过程忽略了样本点位置与被积函数相关值之间的关系；只考虑了这些位置上的被积函数值。我们证明，可以利用PL技术利用样本位置信息，例如通过将样本位置与被积函数的关联值进行拟合。这提供了应用PL技术改进MCO的另一种方式。
引用
@article{arxiv.0704.1274,
title = {Parametric Learning and Monte Carlo Optimization},
author = {David H. Wolpert and Dev G. Rajnarayan},
journal= {arXiv preprint arXiv:0704.1274},
year = {2011}
}