BioCLIP：面向生命之树视觉基础模型
计算机视觉与模式识别
2024-05-16 v3 计算与语言
机器学习
摘要
由从无人机到个人手机等各类相机采集的自然界图像，正成为日益丰富的生物信息来源。用于从图像中提取具有生物学相关信息以服务科学与保护的计算方法和工具，尤其是计算机视觉方法，正在爆发式增长。然而其中大多是为特定任务设计的定制方法，难以适应或扩展到新的问题、情境和数据集。当前亟需一个面向图像中生物有机体通用生物学问题的视觉模型。为此，我们整理并发布了 TreeOfLife-10M，这是最大且最具多样性的机器学习就绪生物图像数据集。随后我们开发了 BioCLIP，一个面向生命之树的基础模型，利用了 TreeOfLife-10M 所捕获的生物学独特属性，即植物、动物和真菌图像的丰富性与多样性，以及丰富结构化生物知识的可得性。我们在多样的细粒度生物分类任务上严格基准测试了我们的方法，发现 BioCLIP 持续且大幅优于现有基线（绝对提升 16% 至 17%）。内在评估揭示 BioCLIP 学到了符合生命之树的层次化表征，阐明了其强泛化能力。https://imageomics.github.io/bioclip 提供模型、数据与代码。
引用
@article{arxiv.2311.18803,
title = {BioCLIP: A Vision Foundation Model for the Tree of Life},
author = {Samuel Stevens and Jiaman Wu and Matthew J Thompson and Elizabeth G Campolongo and Chan Hee Song and David Edward Carlyn and Li Dong and Wasila M Dahdul and Charles Stewart and Tanya Berger-Wolf and Wei-Lun Chao and Yu Su},
journal= {arXiv preprint arXiv:2311.18803},
year = {2024}
}
备注
CVPR 2024 (oral) camera-ready version; data released