利用动态参数预测卷积神经网络的图像问答
计算机视觉与模式识别
2015-11-19 v1 计算与语言
机器学习
摘要
我们通过学习一个带有动态参数层的卷积神经网络 (CNN) 来解决图像问答 (ImageQA) 问题，该动态参数层的权重根据问题自适应确定。对于自适应参数预测，我们采用一个独立的参数预测网络，其由以问题作为输入的门控循环单元 (GRU) 和生成一组候选权作为输出的全连接层组成。然而，为 CNN 的全连接动态参数层中的大量参数构建参数预测网络具有挑战性。我们通过引入哈希技术降低了该问题的复杂度，其中利用预定义的哈希函数选择参数预测网络给出的候选权，以确定动态参数层中的各个权重。所提出的网络——用于 ImageQA 的 CNN 与参数预测网络的联合网络——通过反向传播进行端到端训练，其权重使用预训练的 CNN 和 GRU 初始化。所提出的算法在所有可用的公开 ImageQA 基准上展示了最先进的性能。
引用
@article{arxiv.1511.05756,
title = {Image Question Answering using Convolutional Neural Network with Dynamic Parameter Prediction},
author = {Hyeonwoo Noh and Paul Hongsuck Seo and Bohyung Han},
journal= {arXiv preprint arXiv:1511.05756},
year = {2015}
}