通过移动集成教师在线学习不可学的真实教师
无序系统与神经网络
2009-11-13 v1 机器学习
摘要
本文利用统计力学方法研究了一种分层学习模型的在线学习过程。在我们的模型中，一个简单的感知机学生并非直接向真实教师学习，而是向集成教师学习，而这些集成教师通过感知机学习规则从真实教师处学习。由于真实教师和集成教师分别表示为非单调感知机和简单感知机，因此在渐近稳态下，集成教师会以固定距离环绕不可学的真实教师运动。研究表明，学生的泛化性能在瞬态下超过了集成教师，这与类似的集成教师模型中的发现一致。此外，我们发现即使在稳态下移动集成教师（相对于固定集成教师），也能有效提高学生的性能。
引用
@article{arxiv.0805.1480,
title = {On-line Learning of an Unlearnable True Teacher through Mobile Ensemble Teachers},
author = {Takeshi Hirama and Koji Hukushima},
journal= {arXiv preprint arXiv:0805.1480},
year = {2009}
}
备注
18 pages, 8 figures