多层感知机架构的一致性估计
统计理论
2008-02-25 v1 统计理论
摘要
我们考虑涉及具有一个隐藏层和加性高斯噪声的多层感知机 (MLP) 的回归模型。MLP 参数的估计可以通过最大化模型的似然函数来完成。在此框架下，由于当隐藏单元数量被高估时 Fisher 信息矩阵不可逆，因此很难使用如贝叶斯信息准则 (BIC) 等信息准则来确定隐藏单元的真实数量。事实上，信息准则的经典理论论证完全依赖于该矩阵的可逆性。然而，利用近期引入的用于处理不可识别性丢失模型的方法论，我们证明了合适的信息准则可导致对隐藏单元真实数量的一致性估计。
引用
@article{arxiv.0802.3327,
title = {Consistent estimation of the architecture of multilayer perceptrons},
author = {Joseph Rynkiewicz},
journal= {arXiv preprint arXiv:0802.3327},
year = {2008}
}