混合专家模型的万能逼近定理
机器学习
2016-02-12 v1
摘要
混合专家（MoE）模型是一种流行的用于非线性回归和分类的神经网络架构。已知 MoE 均值函数类在假设目标函数来自足够可微的 Sobolev 空间且估计域为紧致单位超立方体时，一致收敛于任意未知目标函数。我们提供了一个替代结果，表明 MoE 均值函数类在任意紧致估计域上的所有连续函数类中是稠密的。我们的结果可视为 MoE 模型的万能逼近定理。
引用
@article{arxiv.1602.03683,
title = {A Universal Approximation Theorem for Mixture of Experts Models},
author = {Hien D Nguyen and Luke R Lloyd-Jones and Geoffrey J McLachlan},
journal= {arXiv preprint arXiv:1602.03683},
year = {2016}
}