增强 Once-For-All：关于并行块、跳跃连接与早退机制的研究
机器学习
2023-02-06 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
近年来，利用神经架构搜索（Neural Architecture Search, NAS）技术自动化设计神经网络日益流行。具有不同硬件特性的设备大量使用此类神经网络，以及降低其搜索功耗的需求，催生了 Once-For-All（OFA）这一生态友好型算法，其特点是通过单次学习过程即可生成易于适配的模型。为改进这一范式并开发高性能且生态友好的 NAS 技术，本文提出 OFAv2，即 OFA 的扩展，旨在提升性能的同时保持相同的生态优势。该算法在架构层面通过引入早退机制、并行块和密集跳跃连接加以改进。训练过程扩展了两个新阶段，称为弹性层级（Elastic Level）和弹性高度（Elastic Height）。提出了一种新的知识蒸馏（Knowledge Distillation）技术以处理多输出网络，并最终提出了一种新的动态教师网络选择策略。这些改进使 OFAv2 在 Tiny ImageNet 数据集上的准确率相比原始 OFA 版本最高提升 12.07%，同时保持了算法的灵活性和优势。
引用
@article{arxiv.2302.01888,
title = {Enhancing Once-For-All: A Study on Parallel Blocks, Skip Connections and Early Exits},
author = {Simone Sarti and Eugenio Lomurno and Andrea Falanti and Matteo Matteucci},
journal= {arXiv preprint arXiv:2302.01888},
year = {2023}
}