CleverBirds：面向精细人类知识追踪的多选基准
计算机视觉与模式识别
2025-11-12 v1 机器学习
摘要
掌握精细视觉识别对于许多专业领域至关重要，可能需要专家经过多年专门训练。对人类知识进展的建模仍具有挑战性，准确推断学习者的知识状态是理解视觉学习的关键步骤。我们引入 CleverBirds，一个用于精细鸟类种识别的大规模知识追踪基准。该数据集由民间科学平台 eBird 收集，洞察了个体如何在复杂的精细分类中获取专家技能。超过 40,000 名参与者参与测验，回答了超过 1700 万个多选问题，覆盖 10,000 多种鸟类种，平均每个参与者约 400 个问题。我们发布该数据集以支持新方法的开发与评估。我们显示，跟踪学习者的知识具有挑战性，尤其是在不同参与者子群和问题类型的跨度上，不同形式的上下文信息提供的预测效益各不相同。CleverBirds 是其类基准中规模最大的之一，提供了大量可学习概念。借助该基准，我们希望开启新的研究视角，探索视觉专家技能随时间和个体间的发展。
引用
@article{arxiv.2511.08512,
title = {CleverBirds: A Multiple-Choice Benchmark for Fine-grained Human Knowledge Tracing},
author = {Leonie Bossemeyer and Samuel Heinrich and Grant Van Horn and Oisin Mac Aodha},
journal= {arXiv preprint arXiv:2511.08512},
year = {2025}
}
备注
To appear at NeurIPS 2025 - Datasets and Benchmarks Track