层次引导的多模态表示学习用于分类学推断
计算机视觉与模式识别
2026-03-27 v1 机器学习
摘要
从大规模野外数据中进行准确的生物多样性识别是一个基础性问题，对生态学、保护和环境监测有直接影响。在实践中，核心任务是分类学预测——从 imperfect 的输入（如标本图像、DNA条形码或两者兼有）推断目、科、属或种。现有的多模态方法通常将分类学视为扁平标签空间，因此未能编码生物分类的层次结构，而这对噪声和缺失模态下的鲁棒性至关重要。我们提出了两种面向层次感知多模态学习的端到端变体：CLiBD-HiR引入层次信息正则化（HiR）来塑造分类学层级间的嵌入几何，生成结构化且抗噪声的表示；CLiBD-HiR-Fuse额外训练了一个轻量级融合预测器，支持仅图像、仅DNA或联合推理，并对模态损坏具有鲁棒性。在大规模生物多样性基准测试中，我们的方法相比强大的多模态基线将分类学分类准确率提高了超过14个百分点，在部分和损坏的DNA条件下尤为显著。这些结果表明，明确编码生物层次结构以及灵活的融合对于实用的生物多样性基础模型至关重要。
引用
@article{arxiv.2603.25573,
title = {Hierarchy-Guided Multimodal Representation Learning for Taxonomic Inference},
author = {Sk Miraj Ahmed and Xi Yu and Yunqi Li and Yuewei Lin and Wei Xu},
journal= {arXiv preprint arXiv:2603.25573},
year = {2026}
}
备注
Accepted at the ICLR 2026 Workshop on Foundation Models for Science (FM4Science)