基于扩散 Schröd inger 桥的快速集成
机器学习
2024-04-25 v1 人工智能
摘要
深度集成 (Deep Ensemble, DE) 方法是一种通过从不同初始点训练神经网络以增强深度神经网络性能的直观技术，网络会收敛到不同的局部最优解。然而，这种方法的一个局限性在于其高计算开销，主要是由于在推理阶段需要存储大量已学习参数，并为每个参数执行单独的前向传播。我们提出了一种新方法，称为扩散桥接网络 (Diffusion Bridge Network, DBN)，以解决这一挑战。基于 Schröd inger 桥理论，该方法直接学习模拟一种连接单个集成成员输出分布与集成模型输出分布的随机微分方程 (SDE)，从而在不必通过所有集成模型进行前向传播的情况下获取集成预测。通过用构建 DBN 的轻量级神经网络取代沉重的集成，我们在 CIFAR-10、CIFAR-100 和 TinyImageNet 等基准数据集上实现了降低计算成本的推理，同时保持了准确性和不确定性得分。我们的实现已提供：https://github.com/kim-hyunsu/dbn。
引用
@article{arxiv.2404.15814,
title = {Fast Ensembling with Diffusion Schr\"odinger Bridge},
author = {Hyunsu Kim and Jongmin Yoon and Juho Lee},
journal= {arXiv preprint arXiv:2404.15814},
year = {2024}
}