基于在线学习理论的简单感知机集成学习分析
无序系统与神经网络
2009-11-10 v3
摘要
在在线学习和统计力学框架内讨论了 个非线性感知机的集成学习，这些感知机通过符号函数来确定其输出。统计学习理论的一个目的是理论上获得泛化误差。本文表明，集成泛化误差可以利用两个序参数来计算，即教师与学生之间的相似性以及学生之间的相似性。推导了描述这些序参数动力学行为的微分方程（针对一般学习规则），并在三个著名规则的情况下（Hebbian 学习、感知机学习和 AdaTron 学习）得到这些微分方程的具体形式。通过求解这些微分方程来计算这三个规则的集成泛化误差。结果表明，这三个规则在集成学习方面的亲和性（即“维持学生间的多样性”）表现出不同特征，其中 AdaTron 学习在这方面优于其他两个规则。
引用
@article{arxiv.cond-mat/0403632,
title = {Analysis of ensemble learning using simple perceptrons based on online learning theory},
author = {Seiji Miyoshi and Kazuyuki Hara and Masato Okada},
journal= {arXiv preprint arXiv:cond-mat/0403632},
year = {2009}
}
备注
30 pages, 17 figures