Concrete Dropout
机器学习
2017-05-23 v1
摘要
Dropout被用作在大型视觉模型和强化学习(RL)任务中获取不确定性估计的实用工具。但为了获得良好校准的不确定性估计，有必要对dropout概率进行网格搜索——这对大型模型是代价高昂的操作，对RL则不可能。我们提出一种新的dropout变体，其给出改进性能和更好校准的不确定性。依托贝叶斯深度学习的最新进展，我们使用dropout离散掩码的连续松弛。结合有原则的优化目标，这允许在大型模型中自动调谐dropout概率，从而加快实验周期。在RL中，这允许智能体随着观察到更多数据而动态适应其不确定性。我们在一系列任务上广泛分析了所提变体，并对该领域中常在更深模型层使用较大dropout概率的通用实践提供了见解。
引用
@article{arxiv.1705.07832,
title = {Concrete Dropout},
author = {Yarin Gal and Jiri Hron and Alex Kendall},
journal= {arXiv preprint arXiv:1705.07832},
year = {2017}
}