基于自监督视觉 Transformer 的蛇类识别迁移学习
计算机视觉与模式识别
2024-07-09 v1 信息检索
机器学习
摘要
我们提出了用于 SnakeCLEF 2024 竞赛的方案，通过图像预测蛇类种属。我们探索并采用 Meta 的 DINOv2 视觉 Transformer 模型进行特征提取，以解决数据集中蛇类的高度变异性和视觉相似性问题（包含 182,261 张图像）。我们对嵌入进行探索性分析以理解其结构，并在嵌入上训练线性分类器进行种属预测。尽管得分达到 39.69，但我们的实验结果表明 DINOv2 嵌入在蛇类识别方面具有潜力。该项目的所有代码均已公开于 https://github.com/dsgt-kaggle-clef/snakeclef-2024。
引用
@article{arxiv.2407.06178,
title = {Transfer Learning with Self-Supervised Vision Transformers for Snake Identification},
author = {Anthony Miyaguchi and Murilo Gustineli and Austin Fischer and Ryan Lundqvist},
journal= {arXiv preprint arXiv:2407.06178},
year = {2024}
}
备注
Paper submitted to CLEF 2024 CEUR-WS