神经图像描述能否通过强制注意力进行控制？
计算与语言
2019-11-12 v1 计算机视觉与模式识别
机器学习
摘要
条件信号（注意力）的学习动态加权已被证明可改善多种设定下的神经语言生成。在生成特定输出序列时所施加的权重也被视为提供了对生成器内部运作的潜在解释性洞察。在本文中，我们反转此联系的方向并询问是否通过对模型注意力的控制可控制其输出。具体而言，我们采用一个使用注意力的标准神经图像描述模型，并将注意力固定到图像中预先确定的区域。我们评估所得输出是否比正常生成的描述更可能提及该区域中对象的类别。我们引入了三种有效控制注意力的方法，并发现这些方法在多达 28.56% 的案例中产生了预期结果。
引用
@article{arxiv.1911.03936,
title = {Can Neural Image Captioning be Controlled via Forced Attention?},
author = {Philipp Sadler and Tatjana Scheffler and David Schlangen},
journal= {arXiv preprint arXiv:1911.03936},
year = {2019}
}
备注
Accepted shortpaper for the 12th International Conference on Natural Language Generation