序数嵌入的主动学习：一项基于足球数据的用户研究

人类天生会使用未知的相似度函数度量未标注数据集中实例间的距离。距离度量只能作为信息检索中相似实例的相似度代理。从人类标注中学习良好的相似度函数可提升检索质量。本工作使用深度度量学习，从少量标注中为大型足球轨迹数据集学习这些用户定义的相似度函数。我们调整了一种基于熵的主动学习方法，结合三元组挖掘的最新工作，从人类参与者处收集易于回答但仍具信息量的标注，并用其训练一个可泛化至未见过样本的深层卷积网络。我们的用户研究表明，与依赖 Siamese 网络的先前深度度量学习方法相比，我们的方法提升了信息检索的质量。具体而言，我们通过分析参与者的响应效能，阐明了被动采样启发式方法与主动学习器各自的优缺点。为此，我们收集了准确率、算法时间复杂度、参与者的疲劳度与响应时间、定性自评与陈述，以及混合专业水平标注者及其一致性对模型性能与迁移学习的影响。