CoCoAFusE：超越专家混合的模型融合
机器学习
2025-05-05 v1 机器学习
摘要
许多学习问题涉及多种模式以及依赖于协变量的不同程度的不确定性。深度学习（Deep Learning, DL）的进步通过学习高度非线性的输入-输出依赖关系解决了这些问题。然而，模型可解释性和不确定性量化（Uncertainty Quantification, UQ）常常滞后。在此背景下，我们引入了竞争/协作专家融合（Competitive/Collaborative Fusion of Experts, CoCoAFusE），这是一种新颖的贝叶斯协变量依赖建模技术。CoCoAFusE 建立在专家混合（Mixtures of Experts, MoEs）背后的核心理念之上，融合来自多个简单子模型（或“专家”）的预测，以实现高水平的表达能力，同时保留相当程度的局部可解释性。我们的公式扩展了经典的专家混合，除了更常见的混合（即叠加）之外，还考虑了专家分布的融合。通过这一附加特性，CoCoAFusE 能更好地适应生成机制之间中间行为的各种场景，从而为响应变量产生更紧致的可信区间。实际上，仅依赖混合（如经典 MoEs 那样）可能会导致多模态伪影，尤其是在平滑过渡区域。相反，即使在相同的结构和先验下，CoCoAFusE 也能避免这些伪影，从而在建模中实现更强的表达能力和灵活性。这种新方法在一系列启发性数值示例和真实数据示例上得到了广泛展示，证明了其在处理不确定性是关键关注量的复杂回归问题中的有效性。
引用
@article{arxiv.2505.01105,
title = {CoCoAFusE: Beyond Mixtures of Experts via Model Fusion},
author = {Aurelio Raffa Ugolini and Mara Tanelli and Valentina Breschi},
journal= {arXiv preprint arXiv:2505.01105},
year = {2025}
}