面向边缘高效密集预测的多任务神经架构搜索协同方法
计算机视觉与模式识别
2022-10-05 v1 人工智能
机器学习
摘要
本工作中，我们提出一种新颖且可扩展的方案，以应对在边缘平台上开发高效密集预测的挑战。我们的第一个关键见解是，多任务学习（MTL）与硬件感知神经架构搜索（NAS）可协同作用，极大裨益于设备端密集预测（DP）。实证结果表明，这两种范式的联合学习在提升DP精度上出奇地有效，以仅十分之一的算力超越了单任务NAS的迁移学习及先前MTL中的最优方法。据我们所知，我们的框架EDNAS首个成功利用了NAS与MTL对DP的协同关系。我们的第二个关键见解是，多任务DP的标准深度训练会给MTL评估带来显著的不稳定性与噪声。对此，我们提出JAReD——一种改进的、易于采用的联合绝对-相对深度损失，可将不良噪声最多降低88%，同时提升精度。我们在标准数据集上进行了广泛评估，对比了强基线及最优方法，并给出了对所发现最优架构的分析。
引用
@article{arxiv.2210.01384,
title = {Toward Edge-Efficient Dense Predictions with Synergistic Multi-Task Neural Architecture Search},
author = {Thanh Vu and Yanqi Zhou and Chunfeng Wen and Yueqi Li and Jan-Michael Frahm},
journal= {arXiv preprint arXiv:2210.01384},
year = {2022}
}
备注
WACV 2023. 14 pages, 5 figures