让鸟类 AI 专家为你我所用
计算机视觉与模式识别
2021-12-07 v1
摘要
细粒度视觉分类（FGVC）虽强大，但以“夜鹰”或“绿头鸭”这样的鸟名作答或许并无太大意义。然而这在文献中被普遍接受，凸显了一个衔接 AI 与人类的基本问题——何种可迁移知识可供人类从 AI 学习？本文以 FGVC 为试验平台着手回答此问题。具体而言，我们设想一场景：训练好的 FGVC 模型（AI 专家）作为知识提供方，使普通人（你和我）能自身成为更好的领域专家，即能够区分“夜鹰”与“绿头鸭”的人。图1给出了我们回答该问题的方法概览。假设一使用人类专家标签训练的 AI 专家，我们追问（i）我们能从 AI 提取的最佳可迁移知识是什么，以及（ii）鉴于该知识，衡量专业知识增益的最实用手段是什么？针对前者，我们提出将知识表示为专家专属的高度判别性视觉区域。为此，我们设计了一个多阶段学习框架，先对领域专家与新手的视觉注意力建模，再判别式蒸馏其差异以获取专家专属知识。针对后者，我们将评估过程模拟为书籍指南，以最好地适应人类习惯的学习实践。一项包含 15,000 次试验的综合性人类研究表明，我们的方法能持续提升具有不同鸟类专业水平的人的能力，以识别曾无法识别的鸟。有趣的是，当所定义的提取知识被用作实现判别性定位的手段时，我们的方法也带来了改进的常规 FGVC 性能。代码见：https://github.com/PRIS-CV/Making-a-Bird-AI-Expert-Work-for-You-and-Me
引用
@article{arxiv.2112.02747,
title = {Making a Bird AI Expert Work for You and Me},
author = {Dongliang Chang and Kaiyue Pang and Ruoyi Du and Zhanyu Ma and Yi-Zhe Song and Jun Guo},
journal= {arXiv preprint arXiv:2112.02747},
year = {2021}
}