BM-NAS: 双层多模态神经架构搜索
计算机视觉与模式识别
2022-01-04 v2 机器学习
摘要
深度神经网络(DNNs)在各种多模态学习问题上已展现出优越性能。然而,通过手动设计单模态特征和设计多模态特征融合策略来使DNNs适应各个多模态任务通常需要巨大努力。本文提出双层多模态神经架构搜索(BM-NAS)框架,该框架通过双层搜索方案使多模态融合模型的架构完全可搜索。在上层,BM-NAS从预训练的单模态骨干网络中选择模态间/模态内特征对。在下层,BM-NAS学习每个特征对的融合策略,该策略是预定义基本操作的组合。这些基本操作经过精心设计,可灵活组合以适应各种有效的特征融合模块,如多头注意力(Transformer)和注意力上的注意力(AoA)。在三个多模态任务上的实验结果证明了所提BM-NAS框架的有效性和高效性。与现有通用多模态NAS方法相比,BM-NAS以少得多的搜索时间和更少的模型参数取得了有竞争力的性能。
引用
@article{arxiv.2104.09379,
title = {BM-NAS: Bilevel Multimodal Neural Architecture Search},
author = {Yihang Yin and Siyu Huang and Xiang Zhang},
journal= {arXiv preprint arXiv:2104.09379},
year = {2022}
}
备注
Accepted by AAAI 2022