深度主动学习:查询与训练的统一原则性方法
机器学习
2020-02-27 v2 机器学习
摘要
在本文中,我们提出了一种用于深度批量主动学习中查询和训练过程的统一且原则性的方法。我们通过采用 Wasserstein 距离,从将主动学习中的交互过程建模为分布匹配的直觉出发,提供了理论见解。因此,我们从理论分析中推导出一种新训练损失,它通过交替优化分解为深度神经网络参数优化和批量查询选择。此外,通过利用未标记数据信息,训练深度神经网络的损失自然地被表述为极小极大优化问题。而且,所提出的原则也表明了查询批量选择中显式的不确定性-多样性权衡。最后,我们在不同基准上评估了我们的方法,与基线相比一致显示出更好的经验性能和更高的时间效率查询策略。
引用
@article{arxiv.1911.09162,
title = {Deep Active Learning: Unified and Principled Method for Query and Training},
author = {Changjian Shui and Fan Zhou and Christian Gagné and Boyu Wang},
journal= {arXiv preprint arXiv:1911.09162},
year = {2020}
}
备注
AISTATS 2020