一次迁移通用：面向边缘的AI模型优化
机器学习
2023-07-04 v2 计算机视觉与模式识别
神经与进化计算
摘要
权值共享神经架构搜索旨在针对具有不同资源约束的多种设备部署场景，优化一个可配置神经网络模型（超网）。现有方法使用进化搜索从在极大数据集上训练的超网中提取不同大小的模型，然后在通常较小的实际感兴趣数据集上微调提取的模型。因此，训练的计算成本随不同模型部署场景的数量线性增长。为此，我们提出Transfer-Once-For-All（TOFA），用于在小型数据集上进行超网式训练，且在任意数量的边缘部署场景下训练计算成本恒定。给定任务，TOFA获得为任意数量边缘部署场景优化的定制神经网络，包括拓扑与权值。为克服小数据带来的挑战，TOFA利用统一的半监督训练损失同时训练超网内所有子网络，并结合部署时即时架构选择。
引用
@article{arxiv.2303.15485,
title = {Transfer-Once-For-All: AI Model Optimization for Edge},
author = {Achintya Kundu and Laura Wynter and Rhui Dih Lee and Luis Angel Bathen},
journal= {arXiv preprint arXiv:2303.15485},
year = {2023}
}