考察视觉对话模型中的协作机制
计算机视觉与模式识别
2017-12-06 v1 人工智能
计算与语言
信息检索
机器学习
摘要
在这项工作中，我们提出了一种针对视觉对话模型的黑盒干预方法，旨在评估单个语言或视觉组件的贡献。具体而言，我们实施结构化或随机化干预，以削弱模型的某个组件，并观察任务性能的变化。我们复现了一个最先进的视觉对话模型，并证明我们的方法得出了令人惊讶的见解，即对话和图像信息对任务性能的贡献都极小。本文提出的干预方法可用作视觉对话系统中各组件强度与鲁棒性的合理性检验。
引用
@article{arxiv.1712.01329,
title = {Examining Cooperation in Visual Dialog Models},
author = {Mircea Mironenco and Dana Kianfar and Ke Tran and Evangelos Kanoulas and Efstratios Gavves},
journal= {arXiv preprint arXiv:1712.01329},
year = {2017}
}
备注
9 pages, 5 figures, 2 tables, code at http://github.com/danakianfar/Examining-Cooperation-in-VDM/