面向多域学习的记忆高效自适应注意力
机器学习
2021-10-22 v1 计算机视觉与模式识别
神经与进化计算
摘要
在新域上从头训练CNN通常需要大量标注图像和计算，这不适用于低功耗硬件。减少这些需求的一种方法是模块化CNN架构并冻结较重模块（即预训练后的底层）的权重。近期研究提出了替代性的模块化架构与方案，减少了所需可训练参数数量，以匹配在新域上全微调CNN的精度。我们的工作表明，可训练参数数量有可能进一步减少一个数量级。此外，我们提出，用于多域学习的新型模块化技术还应基于其他现实度量进行比较，例如固定模块与可训练模块之间所需的互连数量、所需的训练样本数量、所需的计算阶数以及对训练数据部分错标的鲁棒性。在所有这些标准上，所提架构均展现出优于或匹配当前最优方法的优势。
引用
@article{arxiv.2110.10969,
title = {Memory Efficient Adaptive Attention For Multiple Domain Learning},
author = {Himanshu Pradeep Aswani and Abhiraj Sunil Kanse and Shubhang Bhatnagar and Amit Sethi},
journal= {arXiv preprint arXiv:2110.10969},
year = {2021}
}
备注
13 pages, 3 figures, 4 graphs, 3 tables