基于平衡混合专家的多变量软测量任务关系建模
机器学习
2023-05-29 v1 计算工程、金融与科学
应用统计
摘要
准确估计多个质量变量对于构建工业软测量模型至关重要，该领域长期面临数据效率和负迁移问题。在任务间共享骨干参数的方法解决了数据效率问题；然而，它们仍未能缓解负迁移问题。为解决此问题，本文提出一种平衡混合专家（BMoE），其由多门混合专家（MMoE）模块和任务梯度平衡（TGB）模块组成。MoE模块旨在刻画任务关系，而TGB模块动态平衡各任务间的梯度。二者协同作用以缓解负迁移问题。在典型硫磺回收装置上的实验表明，BMoE能有效建模任务关系并平衡训练过程，且显著优于基线模型。
引用
@article{arxiv.2305.16360,
title = {Modeling Task Relationships in Multi-variate Soft Sensor with Balanced Mixture-of-Experts},
author = {Yuxin Huang and Hao Wang and Zhaoran Liu and Licheng Pan and Haozhe Li and Xinggao Liu},
journal= {arXiv preprint arXiv:2305.16360},
year = {2023}
}