以DNA作为辅助信息的细粒度零样本学习
计算机视觉与模式识别
2021-09-30 v1 机器学习
摘要
细粒度零样本学习任务需要某种形式的辅助信息，以将判别信息从已见类转移到未见类。由于人工标注的视觉属性极其昂贵，且对于大量类别通常不切实际，在本研究中，我们首次使用DNA作为辅助信息，用于物种的细粒度零样本分类。线粒体DNA作为进化生物学中的遗传标记发挥着重要作用，并已被用于在生物体的物种分类中实现近乎完美的准确率。我们实现了一个简单的分层贝叶斯模型，该模型利用DNA信息在图像空间中建立层次结构，并采用局部先验为未见类定义代理类。在基准CUB数据集上，我们表明作为辅助信息，DNA可以与词向量同样有前景，且通常是更易获取的替代方案。这一点尤为重要，因为当自由文本中关于这些物种的信息有限时，为细粒度物种名称获取稳健的词表示并非一个可行目标。在一个新编制的细粒度昆虫数据集（使用来自一千多个物种的DNA信息）上，我们表明该贝叶斯方法以巨大优势优于SOTA。
引用
@article{arxiv.2109.14133,
title = {Fine-Grained Zero-Shot Learning with DNA as Side Information},
author = {Sarkhan Badirli and Zeynep Akata and George Mohler and Christine Picard and Murat Dundar},
journal= {arXiv preprint arXiv:2109.14133},
year = {2021}
}
备注
Accepted to NeurIPS 2021