带噪声的专家混合模型的半监督学习
统计方法学
2024-10-14 v1
摘要
专家混合(MoE)模型是一种灵活的预测建模框架，近年来在大型语言模型时代获得了新兴兴趣。该模型学习一组预测"专家"，以及控制每个专家在预测时赋予其影响力的"门控函数"。这种结构使相对简单模型在复杂且异构数据环境中大放异彩。在当代场景中， unlabeled 数据广泛可用，而labeled 数据获取困难。半监督学习方法旨在利用unlabeled数据。我们提出了一种 novel 方法，用于MoE模型的半监督学习。我们从一种由海洋学家开发的半监督MoE模型入手，后者假设unlabeled数据中隐含的聚类结构直接映射到监督任务中每个专家应获得的影响力。这一假设较为强烈，我们放宽了该假设，设想两者之间存在噪声连接，并提出一种基于最小修剪平方的算法，即使存在数据错位亦能成功。我们的理论分析刻画了该方法在何种条件下可获得接近参数收敛速率的估计量。仿真数据和真实数据实例均证明了该方法的有效性。
引用
@article{arxiv.2410.09039,
title = {Semi-Supervised Learning of Noisy Mixture of Experts Models},
author = {Oh-Ran Kwon and Gourab Mukherjee and Jacob Bien},
journal= {arXiv preprint arXiv:2410.09039},
year = {2024}
}