如何在不知道答案的情况下给测试评分——一种用于自适应众包和能力测试的贝叶斯图模型
机器学习
2012-07-03 v1 人工智能
机器学习
摘要
我们提出了一种新的概率图模型，该模型联合建模了能力测试和众包设置中问题的难度、参与者的能力以及问题的正确答案。我们设计了一种基于贪心最小化期望模型熵的主动学习/自适应测试方案，该方案通过根据先前的回答动态选择下一个要问的问题，实现了更高效的资源分配。我们给出的实验结果证实了我们的模型推断所需参数的能力，并表明自适应测试方案相比静态测试场景需要更少的问题就能达到相同的准确率。
引用
@article{arxiv.1206.6386,
title = {How To Grade a Test Without Knowing the Answers --- A Bayesian Graphical Model for Adaptive Crowdsourcing and Aptitude Testing},
author = {Yoram Bachrach and Thore Graepel and Tom Minka and John Guiver},
journal= {arXiv preprint arXiv:1206.6386},
year = {2012}
}
备注
Appears in Proceedings of the 29th International Conference on Machine Learning (ICML 2012)