TerraIncognita：利用前沿模型进行物种发现的动态基准
计算机视觉与模式识别
2025-06-05 v1 机器学习
摘要
全球生物多样性的快速丧失，尤其是昆虫，代表着一场紧迫的生态危机。当前的昆虫物种发现方法依赖人工、速度缓慢，且严重受限于分类学专业知识，阻碍了及时的保护行动。我们引入 TerraIncognita，这是一个动态基准，旨在评估最先进的多模态模型在从图像数据中识别未知、潜在未描述昆虫物种这一极具挑战性的问题上的能力。我们的基准数据集结合了前沿 AI 模型可能已知的昆虫物种的专家标注图像，以及几乎没有/完全没有公开图像的稀有和鲜为人知物种的图像。这些图像收集自未被充分探索的生物多样性热点地区，真实地模拟了生态学家面临的开放世界发现场景。该基准评估了模型在分层分类学中的分类能力，其检测并拒绝对代表新物种的分布外（OOD）样本进行分类的能力，以及其生成与专家分类学知识相一致的解释的能力。值得注意的是，表现最佳的模型在已知物种的目级别上取得了超过 90% 的 F1 分数，但在种级别上却降至 2% 以下，突显了从粗粒度到细粒度分类预测（目 科 属 种）的急剧难度梯度。TerraIncognita 将定期更新，通过承诺每季度扩展数据集（包括已知和新物种），将为前沿 AI 方法的纵向基准测试提供一个不断演进的平台。所有 TerraIncognita 数据、结果和未来更新均可在 \href{https://baskargroup.github.io/TerraIncognita/}{此处}获取。
引用
@article{arxiv.2506.03182,
title = {TerraIncognita: A Dynamic Benchmark for Species Discovery Using Frontier Models},
author = {Shivani Chiranjeevi and Hossein Zaremehrjerdi and Zi K. Deng and Talukder Z. Jubery and Ari Grele and Arti Singh and Asheesh K Singh and Soumik Sarkar and Nirav Merchant and Harold F. Greeney and Baskar Ganapathysubramanian and Chinmay Hegde},
journal= {arXiv preprint arXiv:2506.03182},
year = {2025}
}