面向特定应用的视觉模型评估：生态学与生物学案例研究

计算机视觉方法已展现出简化生态学和生物学工作流程的巨大潜力，越来越多的数据集和模型可供研究社区使用。然而，这些资源主要侧重于使用机器学习指标进行评估，相对较少强调其应用如何影响下游分析。我们认为，应使用直接代表模型在最终用例中性能的特定应用指标来评估模型。为支持这一论点，我们展示了两个截然不同的案例研究：（1）使用基于视频的行为分类器，通过相机陷阱距离采样法估算黑猩猩的丰度和密度；（2）使用 3D 姿态估计器估算鸽子的头部旋转。我们表明，即使具有强大机器学习性能的模型（例如 87% mAP）也可能产生导致丰度估计与专家数据存在差异的数据。同样，姿态估计中性能最高的模型并未产生最准确的鸽子注视方向推断。受这些发现的启发，我们呼吁研究人员在生态/生物数据集中集成特定应用指标，以便在下游应用背景下对模型进行基准测试，并促进模型更好地集成到应用工作流程中。