深度多模态神经架构搜索
计算机视觉与模式识别
2020-10-13 v2 计算与语言
机器学习
摘要
设计有效的神经网络在多模态深度学习中具有根本重要性。现有工作多聚焦于单一任务并手动设计神经架构，这类架构高度任务专用且难以泛化至不同任务。本文提出了一种面向各类多模态学习任务的通用深度多模态神经架构搜索(MMnas)框架。给定多模态输入，我们首先定义一组基本操作，然后构建基于深度编码器-解码器的统一骨干网络，其中每个编码器或解码器块对应于从预定义操作池中搜索出的一个操作。在统一骨干之上，我们挂载任务专用头以处理不同的多模态学习任务。通过使用基于梯度的NAS算法，不同任务的最优架构得以高效学习。大量消融研究、全面分析与对比实验结果表明，所获得的MMnasNet在三个多模态学习任务（五个以上数据集）上显著优于现有最先进方法，包括视觉问答、图文匹配和视觉定位。
引用
@article{arxiv.2004.12070,
title = {Deep Multimodal Neural Architecture Search},
author = {Zhou Yu and Yuhao Cui and Jun Yu and Meng Wang and Dacheng Tao and Qi Tian},
journal= {arXiv preprint arXiv:2004.12070},
year = {2020}
}
备注
Accept to ACM MM2020, code available at https://github.com/MILVLG/mmnas/