MELINDA：用于生物医学实验方法分类的多模态数据集
计算与语言
2020-12-18 v1 计算机视觉与模式识别
摘要
我们引入一个新数据集 MELINDA，用于多模态生物医学实验方法分类（Multimodal biomEdicaL experImeNt methoD clAssification）。该数据集以完全自动化的远程监督方式收集，标签来自现有精选数据库，实际内容提取自数据库中每条记录所对应的论文。我们对各类最先进的 NLP 与计算机视觉模型进行基准测试，包括仅以图像说明文本或图像为输入的单模态模型，以及多模态模型。大量实验与分析表明，多模态模型虽优于单模态模型，仍须在以更少监督方式将视觉概念与语言对齐、以及向低资源域更好迁移方面加以改进。我们发布数据集与基准测试，以促进未来多模态学习研究，尤其旨在推动针对科学领域应用的定向改进。
引用
@article{arxiv.2012.09216,
title = {MELINDA: A Multimodal Dataset for Biomedical Experiment Method Classification},
author = {Te-Lin Wu and Shikhar Singh and Sayan Paul and Gully Burns and Nanyun Peng},
journal= {arXiv preprint arXiv:2012.09216},
year = {2020}
}
备注
In The Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI-21), 2021