用于稀有物种分类学的深度视觉-遗传生物识别方法
计算机视觉与模式识别
2023-09-14 v3 人工智能
机器学习
定量方法
摘要
在生物学应用中，视觉与遗传生物识别常被用于物种和个体的识别。然而，该领域尚未尝试通过遗传学在计算上增强具有少量图像数据的稀有类别的视觉分类。因此，本文提出对齐的视觉-遗传推断空间，旨在隐式编码跨域关联以提升性能。我们首次证明这种对齐可通过深度嵌入模型实现，并且该方法可直接用于提升长尾识别（LTR），特别是针对稀有物种。我们通过将其应用于 32 个物种的 3 万多个浮游有孔虫壳的显微图像，并结合独立的遗传数据样本，实验证明了该概念的有效性。对从业者而言最重要的是，我们表明视觉-遗传对齐能显著有益于最稀有物种的纯视觉识别。在技术上，我们使用三元组损失公式预训练视觉 ResNet50 深度学习模型以创建初始嵌入空间。我们基于通过 Sequence Graph Transform（SGT）嵌入的遗传锚点并通过跨域余弦对齐链接到视觉数据，对该空间进行重构。我们表明，LTR 方法在所有基准上均改进了当前最优水平，而加入我们的视觉-遗传对齐进一步显著改进了每类特别是稀有尾类基准。我们得出结论：视觉-遗传对齐可成为补充含稀有类别的视觉生物学数据的高效工具。所提出的概念可作为未来整合遗传学与图像组学以更完整科学表征分类空间及生命本身的重要工具。代码、权重和数据划分已发布以保证完全可复现。
引用
@article{arxiv.2305.06695,
title = {Deep Visual-Genetic Biometrics for Taxonomic Classification of Rare Species},
author = {Tayfun Karaderi and Tilo Burghardt and Raphael Morard and Daniela Schmidt},
journal= {arXiv preprint arXiv:2305.06695},
year = {2023}
}