使用不确定数据训练神经网络：一种专家混合方法
机器学习
2024-04-26 v4 机器学习
摘要
本文介绍了“不确定性感知专家混合”（uMoE），这是一种旨在解决基于神经网络（NN）的预测模型中偶然不确定性的新颖解决方案。虽然现有方法主要集中于在推理阶段管理不确定性，但uMoE独特地将不确定性嵌入到训练阶段。uMoE采用“分而治之”的策略，战略性地将不确定的输入空间划分为更易于管理的子空间。它包含多个专家组件，每个组件都针对其各自子空间的不确定性进行单独训练。在专家之上，一个门控单元利用关于不确定输入在这些子空间中分布的额外信息，动态调整权重以最小化与真实值的偏差。我们的研究结果表明，uMoE在有效管理数据不确定性方面优于基线方法。此外，通过全面的鲁棒性分析，我们展示了其对不同不确定性水平的适应性，并提出了最优阈值参数。这种创新方法具有广泛的适用性，涵盖多种数据驱动领域，包括但不限于生物医学信号处理、自动驾驶和生产质量控制。
引用
@article{arxiv.2312.08083,
title = {Training of Neural Networks with Uncertain Data: A Mixture of Experts Approach},
author = {Lucas Luttner},
journal= {arXiv preprint arXiv:2312.08083},
year = {2024}
}