利用众包数据实现深度主动学习——以 Alexa 中意图学习为例
机器学习
2018-03-13 v1 社会与信息网络
机器学习
摘要
本文提出一个通用的贝叶斯框架，使任何深度学习模型都能从目标群体中主动学习。我们的框架继承了贝叶斯深度学习的最新进展，并通过考虑目标众包方法扩展了现有工作，其中多个专业知识未知的标注者贡献了不受控制数量（通常有限）的标注。我们的框架利用标注中的低秩结构来学习个体标注者专长，进而有助于从有噪声且稀疏的标注中推断真实标签。它提供了一个统一的贝叶斯模型，同时推断真实标签并训练深度学习模型，以达到最优的学习效能。最后，我们的框架利用深度学习模型在预测时的不确定性以及标注者的估计专长，来最小化最优训练深度学习模型所需的标注数量与标注者数量。我们使用合成与真实世界数据集，在 Alexa（亚马逊个人助理）的意图分类任务上评估了我们框架的有效性。实验表明，与最先进的方法相比，我们的框架能够准确学习标注者专长、推断真实标签，并有效减少模型训练中的标注量。我们进一步讨论了所提框架在连接机器学习与众包以改进人在回路系统方面的潜力。
引用
@article{arxiv.1803.04223,
title = {Leveraging Crowdsourcing Data For Deep Active Learning - An Application: Learning Intents in Alexa},
author = {Jie Yang and Thomas Drake and Andreas Damianou and Yoelle Maarek},
journal= {arXiv preprint arXiv:1803.04223},
year = {2018}
}