视觉知识追踪

每年，数千人学习新的视觉分类任务——放射科医生学习识别肿瘤，观鸟者学习区分相似物种，众包工人学习如何为自动驾驶等应用标注有价值的数据。在学习过程中，人类大脑更新其提取和关注的视觉特征，这最终决定了他们的最终分类决策。在这项工作中，我们提出了一种新颖任务：追踪人类学习者在参与具有挑战性的视觉分类任务时不断演进的分类行为。我们提出了联合提取学习者所使用的视觉特征并预测其所用分类函数的模型。我们从真实人类学习者处收集了三个具有挑战性的新数据集，以评估不同视觉知识追踪方法的性能。我们的结果表明，我们的循环模型能够预测人类学习者在三个具有挑战性的医学图像和物种识别任务上的分类行为。