基于贝叶斯不确定性的好奇心驱动量化专家混合模型
机器学习
2026-03-26 v3 人工智能
摘要
在资源受限的设备上部署深度神经网络面临两个关键挑战：在激进量化下保持准确性，同时确保可预测的推理延迟。我们提出了一种基于贝叶斯认识不确定性的好奇心驱动量化专家混合框架，以解决这两个问题。该框架通过跨异构专家（BitNet三值、1-16位BitLinear、后训练量化）进行路由。评估于音频分类基准（ESC-50、Quinn、UrbanSound8K），我们的4位量化保持了99.9%的全精度F1（0.858 vs 0.859），实现4倍压缩和31%的能源节省，相较于8位量化。关键的是，好奇心驱动的路由同时提高了准确性和稳定性：在Quinn上，F1从0.802提高到0.809，跨折方差下降85%（p < 0.001，Levene检验），在各数据集上实现50%至94%的下降。该路由是自组织的，高精度8位专家自动接收最不确定的样本（20%更低的置信度，p < 0.001），而轻量级专家处理更容易的输入。具有低基线方差的数据集没有人工稳定性收益，确认该机制针对真实的认识不确定性而非过拟合路由决策。该框架仅需1.2万参数，提供可解释的、精度感知的路由，适用于准确性和可预测性都至关重要的边缘部署场景。
引用
@article{arxiv.2511.11743,
title = {Uncertainty Makes It Stable: Curiosity-Driven Quantized Mixture-of-Experts},
author = {Sebastián Andrés Cajas Ordóñez and Luis Fernando Torres Torres and Mackenzie J. Meni and Carlos Andrés Duran Paredes and Eric Arazo and Cristian Bosch and Ricardo Simon Carbajo and Yuan Lai and Leo Anthony Celi},
journal= {arXiv preprint arXiv:2511.11743},
year = {2026}
}