面向机器学习的 Mondrian 过程

本报告关注 Mondrian 过程及其在机器学习中的应用。Mondrian 过程是一个断头台分割取值的随机过程，具有优雅的自一致性。报告的第一部分使用应用概率中的简单概念来定义 Mondrian 过程并探索其性质。Mondrian 过程已被用作一种巧妙的在线随机森林分类算法的主要构建模块，该算法被证明等价于其批量版本。我们概述了该算法在回归问题上的一个轻微改编，因为报告的其余部分将回归作为案例研究，探讨如何将 Mondrian 过程用于机器学习。特别地，Mondrian 过程将被用来构建一个快速近似，以替代计算代价高昂的带有 Laplace 核的核岭回归问题。由 Mondrian 过程生成的随机断头台分割的复杂度，以及由此产生的回归模型的复杂度，由一个寿命超参数控制。结果表明，这些模型可以针对给定范围内的所有寿命值一次性高效训练和评估，而无需为每个寿命值从头重新训练。这导致了一种确定手头数据集合适模型复杂度的有效过程。单一寿命超参数的局限性将引出最终的 Mondrian 网格模型，在该模型中，每个输入维度都被赋予自己的寿命参数。在此模型中，我们保留了其超参数可被调整而无需从头重新训练修改后模型的特性。