基于贝叶斯决策理论的在职学习
人工智能
2015-12-09 v2
摘要
我们的目标是部署一个从零训练样本开始的高精度系统。我们考虑一种“在职”设置，即随着输入到达，我们在需要时利用实时众包解决不确定性，并在确信时输出预测。随着模型随时间改进，对众包查询的依赖减少。我们将该设置建模为基于贝叶斯决策理论的随机博弈，这使我们能够以原则性方式平衡延迟、成本和准确率目标。计算最优策略是难解的，因此我们开发了基于蒙特卡洛树搜索的近似方法。我们在三个数据集上测试了我们的方法——命名实体识别、情感分类和图像分类。在NER任务上，与完全人工标注相比，我们获得了超过一个数量级的成本降低，同时相对于专家提供的标签提升了性能。我们还实现了比单个人标注整个数据集高8%的F1提升，以及比在线学习高28%的F1提升。
引用
@article{arxiv.1506.03140,
title = {On-the-Job Learning with Bayesian Decision Theory},
author = {Keenon Werling and Arun Chaganty and Percy Liang and Chris Manning},
journal= {arXiv preprint arXiv:1506.03140},
year = {2015}
}
备注
As appearing in NIPS 2015