Insect-Foundation：用于视觉昆虫理解的基座模型与百万规模数据集
计算机视觉与模式识别
2024-03-18 v2
摘要
在精准农业中，昆虫的检测与识别对作物健康生长并产出高质量产量至关重要。当前的机器视觉模型需要大量数据以实现高性能。然而，全球约有 550 万种不同昆虫物种。由于地理位置与采集成本各异，现有昆虫数据集均无法覆盖其中哪怕一小部分。本文引入新颖的“Insect-1M”数据集，这一变革性资源有望革新昆虫相关基座模型训练。我们的数据集涵盖广阔昆虫物种谱，包含 100 万张带有分类层级密集识别标签与昆虫描述的图像，提供了昆虫学的全景视图，使基座模型前所未有地理解昆虫的视觉与语义信息。随后，为高效建立昆虫基座模型，我们开发了带有逐块相关注意力机制的微特征自监督学习方法，能够辨别昆虫图像间的细微差异。此外，我们引入描述一致性损失，通过昆虫描述改进微特征建模。通过实验，我们展示了所提方法在昆虫建模中的有效性，并在昆虫相关任务的标准基准上取得最先进（State-of-the-Art）性能。我们的昆虫基座模型与数据集有望赋能下一代昆虫相关视觉模型，使其更近精准农业的终极目标。
引用
@article{arxiv.2311.15206,
title = {Insect-Foundation: A Foundation Model and Large-scale 1M Dataset for Visual Insect Understanding},
author = {Hoang-Quan Nguyen and Thanh-Dat Truong and Xuan Bac Nguyen and Ashley Dowling and Xin Li and Khoa Luu},
journal= {arXiv preprint arXiv:2311.15206},
year = {2024}
}