多模态菜谱中程序概念的潜在对齐
计算与语言
2021-01-14 v1 人工智能
摘要
我们提出一种新颖的对齐机制来处理新发布的多模态问答数据集RecipeQA上的程序推理。我们的模型正在解决文本完形填空任务，该任务是对包含图像与说明的菜谱进行的阅读理解。我们利用注意力网络、跨模态表示以及指令与候选答案之间的潜在对齐空间的力量来解决问题。我们引入约束最大池化，其通过对齐矩阵上的最大池化操作进行精炼以对模型输出施加不相交约束。我们的评估结果表明相较基线有19%的提升。
引用
@article{arxiv.2101.04727,
title = {Latent Alignment of Procedural Concepts in Multimodal Recipes},
author = {Hossein Rajaby Faghihi and Roshanak Mirzaee and Sudarshan Paliwal and Parisa Kordjamshidi},
journal= {arXiv preprint arXiv:2101.04727},
year = {2021}
}
备注
Published in ALVR 2020, a workshop in ACL 2020