线性和非线性时域集成学习的统计力学
无序系统与神经网络
2015-06-25 v1 统计力学
摘要
传统的集成学习在空间域中组合学生模型。然而，在本文中，我们在时间域中组合学生模型，并称之为时域集成学习。我们分析、比较并讨论了线性和非线性模型在时域集成学习中的泛化性能。在在线学习的框架下，使用统计力学方法进行分析，我们展示了两种模型之间定性不同的行为。在线性模型中，泛化误差的动态行为是单调的。我们解析地表明，时域集成学习的效率是传统集成学习的两倍。此外，非线性模型的泛化误差在学习率较小时表现出非单调的动态行为。我们通过数值方法表明，利用这种现象以及学生在时间域中的发散，可以显著提高泛化性能。
引用
@article{arxiv.cond-mat/0609568,
title = {Statistical Mechanics of Linear and Nonlinear Time-Domain Ensemble Learning},
author = {Seiji Miyoshi and Masato Okada},
journal= {arXiv preprint arXiv:cond-mat/0609568},
year = {2015}
}
备注
11 pages, 7 figures