MO-EMT-NAS：不同数据集任务间架构知识的多目标持续迁移
机器学习
2024-07-19 v1 人工智能
摘要
由于资源约束不同，跨多种设备部署模型需要在多个目标之间进行权衡。可以说，由于基于超网的多目标神经架构搜索中存在小模型陷阱问题，现有方法可能无法保留大模型。此外，多任务神经架构搜索擅长同时处理多个任务，但现有大多数工作都集中在来自同一数据集的任务上，这限制了它们在多个任务可能来自不同数据集的现实场景中的实用性。为了解决上述挑战，我们提出了一种用于NAS的多目标进化多任务框架，以实现跨不同数据集任务间的架构知识迁移，同时为模型准确率和计算效率等多目标找到帕累托最优架构。为了缓解小模型陷阱问题，我们引入了一个辅助目标，帮助保留多个具有相似准确率的大模型。此外，通过并行化基于权重共享的超网的训练和验证，进一步提高了计算效率。在七个数据集上进行的包含两个、三个和四个任务组合的实验结果表明，与最先进的单目标MT-NAS算法相比，MO-EMT-NAS在实现更低的最小分类错误的同时，能够在模型性能和复杂度之间提供灵活的权衡。与相应的多目标单任务方法相比，MO-EMT-NAS的运行时间减少了59.7%至77.7%。
引用
@article{arxiv.2407.13122,
title = {MO-EMT-NAS: Multi-Objective Continuous Transfer of Architectural Knowledge Between Tasks from Different Datasets},
author = {Peng Liao and XiLu Wang and Yaochu Jin and WenLi Du},
journal= {arXiv preprint arXiv:2407.13122},
year = {2024}
}