基于检测的中间监督用于视觉问答
计算机视觉与模式识别
2023-12-27 v1 人工智能
摘要
近年来，神经模块网络（NMNs）在回答组合视觉问题方面取得了持续的成功，特别是那些涉及多跳视觉和逻辑推理的问题。NMNs使用问题推理路径中的实例模块将复杂问题分解为几个子任务，然后利用中间监督来指导答案预测，从而提高了推理的可解释性。然而，由于中间监督的粗略建模，它们的性能可能会受到阻碍。例如，（1）每个实例模块仅指向一个接地对象的先验假设忽略了其他可能相关的接地对象，阻碍了完整的跨模态对齐学习；（2）基于IoU的中间监督可能会引入噪声信号，因为边界框重叠问题可能引导模型关注不相关的对象。为了解决这些问题，提出了一种新方法，即基于检测的中间监督（DIS），它采用生成式检测框架通过序列生成来促进多个接地监督。因此，DIS提供了更全面和准确的中间监督，从而提高了答案预测性能。此外，通过考虑中间结果，DIS增强了回答组合问题及其子问题的一致性。大量实验证明了我们提出的DIS的优越性，与先前方法相比，展示了更高的准确性和最先进的推理一致性。
引用
@article{arxiv.2312.16012,
title = {Detection-based Intermediate Supervision for Visual Question Answering},
author = {Yuhang Liu and Daowan Peng and Wei Wei and Yuanyuan Fu and Wenfeng Xie and Dangyang Chen},
journal= {arXiv preprint arXiv:2312.16012},
year = {2023}
}
备注
Accepted by AAAI24