Icebreaker：基于贝叶斯深度潜高斯模型的元素级主动信息获取
机器学习
2019-08-15 v2 人工智能
机器学习
摘要
本文引入冰启动（ice-start）问题，即在初始仅有很少或没有训练数据可用、且获取数据的每个特征元素都伴随成本时部署机器学习模型的挑战。该设定代表了现实世界的机器学习应用。例如，在医疗健康领域，当训练一个从实验室检测预测患者指标的 AI 系统时，获取每一次测量都伴随高昂成本。主动学习（仅标签伴随成本）不适用于此类问题，因为执行所有可能的实验室检测以获取新训练数据既昂贵，又因冗余而不必要。我们提出 Icebreaker，一种解决冰启动问题的原则性框架。Icebreaker 使用带有新颖推断方法的完整贝叶斯深度潜高斯模型（BELGAM）。我们提出的方法结合了近期在摊销推断与随机梯度 MCMC 方面的进展，以实现快速而准确的后验推断。通过利用 BELGAM 完全量化模型不确定性的能力，我们还提出了用于填补与主动预测问题的两种信息获取函数。我们使用机器学习基准以及真实世界的推荐系统与医疗健康应用，证明了当数据集规模较小时，BELGAM 显著优于先前基于 VAE（变分自编码器）的模型。此外，基于 BELGAM，Icebreaker 进一步提升了性能，并展示了使用最少训练数据量获得最高测试时性能的能力。
引用
@article{arxiv.1908.04537,
title = {Icebreaker: Element-wise Active Information Acquisition with Bayesian Deep Latent Gaussian Model},
author = {Wenbo Gong and Sebastian Tschiatschek and Richard Turner and Sebastian Nowozin and José Miguel Hernández-Lobato and Cheng Zhang},
journal= {arXiv preprint arXiv:1908.04537},
year = {2019}
}