用于多模态回归主动学习的互信息下界
机器学习
2026-05-15 v1 计算工程、金融与科学
信息论
math.IT
机器学习
摘要
连续回归的主动学习一直缺乏一种在预测分布为多模态时针对认知不确定性的采集函数：方差忽略了模态间的分歧，而像 BALD 这样的信息论目标则是为离散输出设计的。我们引入了一个双指标框架，使这种分离变得明确：一个随机指标在竞争的模型假设（认知来源）之间进行选择，而另一个指标控制假设内的随机性（偶然来源）。该框架内的熵分解将输出与认知指标之间的互信息确定为一个有原则的采集目标，并且我们证明随着模型在不断增长的数据集上训练，该量会消失，这证实它恰好捕捉了数据所能解决的不确定性。由于该互信息对于连续输出是难以处理的，我们推导了互信息下界（Mutual Information Lower Bound, MI-LB）采集函数，一种用于混合密度网络集成的闭式近似。在以多模态系统为特征的基准上，MI-LB 匹配或超越了所有评估的基线，并且是唯一能始终做到这一点的算法——基于几何和 Fisher 的基线仅在输入空间已经编码了多模态性时才具竞争力，否则便会崩溃。
引用
@article{arxiv.2605.14917,
title = {A Mutual Information Lower Bound for Multimodal Regression Active Learning},
author = {Leonardo Ferreira Guilhoto and Akshat Kaushal and Paris Perdikaris},
journal= {arXiv preprint arXiv:2605.14917},
year = {2026}
}