何处与何物：通过神经架构搜索学习为多领域学习插入适配器
机器学习
2021-05-19 v2 计算机视觉与模式识别
机器学习
摘要
作为一个重要且具有挑战性的问题，多领域学习（MDL）通常寻求一组有效的轻量级领域特定适配器模块，将其插入一个通用的领域无关网络中。通常，现有的适配器插入方式和结构设计在模型学习前均为手工制作且对所有领域固定不变，导致学习缺乏灵活性且计算量大。基于此动机，我们提出利用神经架构搜索（NAS）学习一种数据驱动的适配器插入策略，自动决定在何处插入这些适配器模块。此外，我们提出了一种 NAS-适配器模块，用于在 NAS 驱动的学习方案中进行适配器结构设计，从而自动发现针对不同领域的有效适配器模块结构。实验结果表明，在性能相当的条件下，我们的 MDL 模型相较于现有方法具有有效性。
引用
@article{arxiv.2007.12415,
title = {What and Where: Learn to Plug Adapters via NAS for Multi-Domain Learning},
author = {Hanbin Zhao and Hao Zeng and Xin Qin and Yongjian Fu and Hui Wang and Bourahla Omar and Xi Li},
journal= {arXiv preprint arXiv:2007.12415},
year = {2021}
}