面向可微架构搜索的灵活通道维度
机器学习
2023-06-16 v1 人工智能
摘要
寻找最优通道维度（即深度神经网络层中的滤波器数量）对于设计在计算资源约束下表现良好的深度神经网络至关重要。神经架构搜索的近期工作旨在自动化深度神经网络模型实现的优化。然而，现有的通道维度神经架构搜索方法依赖于固定的搜索空间，这阻碍了实现高效且全自动的解决方案。在本工作中，我们提出了一种新颖的可微神经架构搜索方法，配备高效的动态通道分配算法，以实现灵活的通道维度搜索空间。我们表明，所提出的框架能够找到与先前方法在CIFAR-10数据集上任务精度和推理延迟相当的深度学习架构，同时在架构搜索阶段的GPU小时数上提升，在内存需求上提升。此外，所提出的框架不需要事先精心设计的搜索空间，这是迈向深度神经网络架构全自动设计的重要一步。
引用
@article{arxiv.2306.08021,
title = {Flexible Channel Dimensions for Differentiable Architecture Search},
author = {Ahmet Caner Yüzügüler and Nikolaos Dimitriadis and Pascal Frossard},
journal= {arXiv preprint arXiv:2306.08021},
year = {2023}
}