中文

由间隔分布引导的森林表示学习

机器学习 2019-05-09 v1 机器学习

摘要

在本文中,我们将森林表示学习方法重新表述为一种加性模型,该模型提升增广特征而非预测值。当λ(间隔标准差与间隔均值之比)足够小时,我们将泛化差距的上界从O(lnmm)\mathcal{O}(\sqrt\frac{\ln m}{m})显著改进至O(lnmm)\mathcal{O}(\frac{\ln m}{m})。这一更紧的上界启发我们优化间隔分布比λ。因此,我们设计了间隔分布重加权方法(mdDF),通过提升增广特征来实现较小的λ比。实验与可视化证实了该方法在性能和表示学习能力方面的有效性。本研究从间隔理论视角对级联深度森林提供了新颖理解,并进一步利用mdDF方法引导逐层森林表示学习。

关键词

引用

@article{arxiv.1905.03052,
  title  = {Forest Representation Learning Guided by Margin Distribution},
  author = {Shen-Huan Lv and Liang Yang and Zhi-Hua Zhou},
  journal= {arXiv preprint arXiv:1905.03052},
  year   = {2019}
}