基于比较的心理物理学框架：实验室对比众包
机器学习
2019-07-29 v2 机器学习
摘要
传统上，心理物理实验通过对少数训练有素的被试在受控条件下重复测量来进行，若操作得当常能获得高质量数据。然而近年来，众包平台正成为日益流行的数据收集手段，以可能获得更差质量数据为代价测量大量被试。本文研究基于比较（序数）的数据结合机器学习算法，能否提升众包心理物理学研究的可靠性，使其达到接近实验室实验的表现。为此，我们比较三种设置：仿真、心理物理实验室实验，以及亚马逊众包平台(Amazon Mechanical Turk)上的相同实验。所有这些实验均在基于比较的设置下进行，被试须回答形如“对象x更接近y还是z？”的三元组问题。随后我们使用机器学习解决三元组预测问题：给定带对应答案的三元组问题子集，预测其余问题的答案。考虑到MTurk上的局限与噪声，我们发现三元组预测的准确率出人意料地接近——但不等同于——我们的实验室研究。
引用
@article{arxiv.1905.07234,
title = {Comparison-Based Framework for Psychophysics: Lab versus Crowdsourcing},
author = {Siavash Haghiri and Patricia Rubisch and Robert Geirhos and Felix Wichmann and Ulrike von Luxburg},
journal= {arXiv preprint arXiv:1905.07234},
year = {2019}
}