利用多层感知机训练时间的重尾分布：以 UCI 甲状腺疾病数据库为例
神经与进化计算
2011-11-09 v2
摘要
多层感知机权重的随机初始化使其训练过程可以被建模为 Las Vegas 算法，即一种在满足所需训练误差时停止的随机算法，其执行时间为随机变量。该建模被用于对一个著名的模式识别基准——UCI 甲状腺疾病数据库——进行案例研究。经验证据表明训练时间的概率分布呈现重尾行为，即长时间执行具有较大的概率质量。这一特性被用于通过应用两种简单的重启策略来降低训练时间成本。第一种策略假设完全了解分布，与无重启训练相比，期望时间减少 40%。第二种策略假设零先验知识，期望时间减少幅度为 9% 至 23%。
引用
@article{arxiv.0704.2725,
title = {Exploiting Heavy Tails in Training Times of Multilayer Perceptrons: A Case Study with the UCI Thyroid Disease Database},
author = {Manuel Cebrian and Ivan Cantador},
journal= {arXiv preprint arXiv:0704.2725},
year = {2011}
}
备注
8 pages, 4 figures, submitted for consideration to the "Statistics and Its Interface" journal