ShapeWorld——一种用于多模态语言理解的新测试方法
计算与语言
2017-04-18 v1 人工智能
计算机视觉与模式识别
摘要
我们介绍了一种用于评估多模态深度学习模型在语言理解和泛化能力方面的新框架。在该方法中，人工数据根据实验者的规范自动生成。数据和内容在训练和评估过程中均可详细控制，从而能够创建需要真正泛化能力的任务，特别是以新颖方式组合先前引入的概念。我们通过在四个不同任务上评估各种视觉问答模型，展示了我们方法的潜力，并展示了我们的框架如何让我们详细了解它们的能力和局限。通过开源我们的框架，我们希望促进多模态语言理解领域的进展。
引用
@article{arxiv.1704.04517,
title = {ShapeWorld - A new test methodology for multimodal language understanding},
author = {Alexander Kuhnle and Ann Copestake},
journal= {arXiv preprint arXiv:1704.04517},
year = {2017}
}