量化神经描述生成器所使用的视觉信息量
神经与进化计算
2019-02-05 v1 计算与语言
摘要
本文探讨神经图像描述生成器对其视觉输入的敏感性。报告了基于图像干扰项的敏感性分析与遗漏分析，表明图像描述架构保留并对视觉信息敏感的程度，随所生成词的类型及在整句描述中的位置而变化。我们在该领域实现更高 AI 可解释性的更广义目标背景下阐述此项工作。
引用
@article{arxiv.1810.05475,
title = {Quantifying the amount of visual information used by neural caption generators},
author = {Marc Tanti and Albert Gatt and Kenneth P. Camilleri},
journal= {arXiv preprint arXiv:1810.05475},
year = {2019}
}
备注
10 pages, 4 figures This publication will appear in the Proceedings of the First Workshop on Shortcomings in Vision and Language (2018). DOI to be inserted later