探索视觉问答中的多样方法
计算机视觉与模式识别
2024-11-13 v3 人工智能
计算与语言
机器学习
摘要
本研究探索了使用生成对抗网络（GAN）、自编码器和注意力机制来提高视觉问答（VQA）的创新方法。利用平衡的VQA数据集，我们检验了三种不同策略。首先，GAN方法旨在基于图像和问题输入生成答案嵌入，虽显示出潜力，但在处理更复杂任务时表现不佳。其次，基于自编码器的技术专注于学习问题和图像的最优嵌入，由于在复杂问题上的更好能力，实现了与GAN相当的效果。最后，注意力机制结合多模态紧凑双线性池（MCB），解决语言偏置和注意力建模问题，但在复杂性与性能之间存在权衡。本研究强调了VQA中的挑战与机遇，并为未来研究指明了方向，包括替代GAN形式化和注意力机制。
引用
@article{arxiv.2404.13565,
title = {Exploring Diverse Methods in Visual Question Answering},
author = {Panfeng Li and Qikai Yang and Xieming Geng and Wenjing Zhou and Zhicheng Ding and Yi Nian},
journal= {arXiv preprint arXiv:2404.13565},
year = {2024}
}
备注
Accepted by 2024 5th International Conference on Electronic Communication and Artificial Intelligence