分层路由混合专家模型
机器学习
2019-03-20 v1 机器学习
摘要
在回归任务中，数据分布通常过于复杂而难以由单一模型拟合。相比之下，基于划分的模型将数据分割并由局部模型拟合。这些模型划分输入空间，未利用多模态分布数据的输入输出依赖性，且需要强局部模型才能做出良好预测。针对这些问题，我们提出一种二叉树结构的分层路由混合专家（Hierarchical Routing Mixture of Experts, HRME）模型，其以分类器作为非叶节点专家、以简单回归模型作为叶节点专家。分类器节点基于多模态数据的自然分离性联合软划分输入输出空间，这使简单叶专家能有效用于预测。进一步，我们为 HRME 模型建立了概率框架，并提出一种基于递归期望最大化（Expectation-Maximization, EM）的算法来同时学习树结构与专家模型。在一系列回归任务上的实验验证了我们的方法相对于多种其他回归模型的有效性。
引用
@article{arxiv.1903.07756,
title = {Hierarchical Routing Mixture of Experts},
author = {Wenbo Zhao and Yang Gao and Shahan Ali Memon and Bhiksha Raj and Rita Singh},
journal= {arXiv preprint arXiv:1903.07756},
year = {2019}
}
备注
9 pages,4 figures