GFlowOut：基于生成流网络的 Dropout
机器学习
2023-06-27 v3 人工智能
摘要
贝叶斯推断为应对现代神经网络的诸多关键问题（如校准与泛化差、数据效率低）提供了原则性工具。然而，将贝叶斯推断扩展至大型架构具有挑战性，且需要限制性近似。蒙特卡洛 Dropout 已被广泛用作一种相对廉价的近似推断与深度神经网络不确定性估计方法。传统上，dropout 掩码从固定分布中独立采样。近期工作表明，dropout 掩码可视为潜变量，并可通过变分推断推断得到。这些方法面临两个重要挑战：（a）掩码上的后验分布可能高度多模态，难以用标准变分推断近似；（b）充分利用样本相关信息与 dropout 掩码间相关性以改进后验估计并非易事。本工作中，我们提出 GFlowOut 以解决这些问题。GFlowOut 利用近期提出的生成流网络（GFlowNets）概率框架来学习 dropout 掩码上的后验分布。我们通过实证表明，GFlowOut 产生的预测分布对分布外数据具有更好的泛化性，并提供不确定性估计，从而在下游任务中带来更优性能。
引用
@article{arxiv.2210.12928,
title = {GFlowOut: Dropout with Generative Flow Networks},
author = {Dianbo Liu and Moksh Jain and Bonaventure Dossou and Qianli Shen and Salem Lahlou and Anirudh Goyal and Nikolay Malkin and Chris Emezue and Dinghuai Zhang and Nadhir Hassen and Xu Ji and Kenji Kawaguchi and Yoshua Bengio},
journal= {arXiv preprint arXiv:2210.12928},
year = {2023}
}