神经自然学家：生成细粒度图像比较
计算与语言
2019-11-15 v3 计算机视觉与模式识别
摘要
我们引入了全新的Birds-to-Words数据集，包含41k句描述鸟类照片间细粒度差异的句子。所收集的语言高度细致，同时仍可被普通观察者理解（例如“心形脸”、“矮胖身体”）。段落长度的描述通过一种新颖的分层采样方法，自然适应不同的分类学与视觉距离水平，并带有恰当细节程度。我们提出一种称为Neural Naturalist的新模型，该模型使用联合图像编码与比较模块来生成比较性语言，并让人类使用者必须借助描述来区分真实图像从而评估结果。我们的结果表明，神经模型利用自然语言解释视觉嵌入空间中的差异具有可喜潜力，也为机器学习辅助公民科学家保护生物多样性提供了具体路径。
引用
@article{arxiv.1909.04101,
title = {Neural Naturalist: Generating Fine-Grained Image Comparisons},
author = {Maxwell Forbes and Christine Kaeser-Chen and Piyush Sharma and Serge Belongie},
journal= {arXiv preprint arXiv:1909.04101},
year = {2019}
}
备注
Published at EMNLP 2019