贝叶斯神经网络中基于平衡熵学习原理的主动学习

在许多预算有限的机器学习应用中，获取标注数据具有挑战性。主动学习给出了一种选择最具信息量数据点并通过降低标注成本来提高数据效率的流程。最大化互信息的信息最大化学习原理（如 BALD）已取得成功并广泛适用于各种主动学习应用。然而，这种基于池的特定目标固有地引入了冗余选择，并进一步需要高昂的计算成本用于批量选择。本文中，我们设计并提出一种新的不确定性度量——平衡熵获取（BalEntAcq），其捕获底层 softmax 概率的不确定性变量与标签变量之间的信息平衡。为此，我们通过 Beta 分布近似每个边际分布。Beta 近似使我们能够将 BalEntAcq 公式化为增广熵与边际联合熵之比。BalEntAcq 的闭式表达通过估计每个边际 Beta 分布中的两个参数而便于并行化。BalEntAcq 是一种纯独立度量，无需与其他数据点做任何关联计算。尽管如此，与 BALD、熵或平均标准差（MeanSD）等其他现有不确定性度量不同，BalEntAcq 在具有间隔的决策边界附近捕获了良好多样化的选择。最后，我们通过 MNIST、CIFAR-100、SVHN 和 TinyImageNet 数据集获得的实验结果证明，我们的平衡熵学习原理结合 BalEntAcq 始终优于知名的线性可扩展主动学习方法，包括最近提出的 PowerBALD（BALD 的简单但多样化版本）。