基于多跳指令的图像操控——一个新数据集与弱监督神经符号方法
计算机视觉与模式识别
2023-10-26 v2 人工智能
计算与语言
摘要
我们关注通过自然语言文本进行图像操控——该任务对多种 AI 应用有用，但需要在多模态空间上进行复杂推理。我们将近期提出的、在视觉问答（VQA）任务上颇为有效的神经符号概念学习（NSCL）扩展至图像操控任务。我们称为 NeuroSIM 的系统能够对多对象场景进行复杂多跳推理，且仅需以 VQA 标注数据形式提供的弱监督。NeuroSIM 将指令解析为符号程序，该程序基于包含对象属性与操控操作的领域特定语言（DSL）来指导执行。我们为该任务创建了一个新数据集，大量实验表明 NeuroSIM 极具竞争力，可媲美或击败使用有监督操控数据的 SOTA 基线。
引用
@article{arxiv.2305.14410,
title = {Image Manipulation via Multi-Hop Instructions -- A New Dataset and Weakly-Supervised Neuro-Symbolic Approach},
author = {Harman Singh and Poorva Garg and Mohit Gupta and Kevin Shah and Ashish Goswami and Satyam Modi and Arnab Kumar Mondal and Dinesh Khandelwal and Dinesh Garg and Parag Singla},
journal= {arXiv preprint arXiv:2305.14410},
year = {2023}
}
备注
EMNLP 2023 (long paper, main conference)