FX-DARTS：基于熵率超网络缩减设计拓扑无约束架构
机器学习
2025-04-30 v1 人工智能
摘要
可微架构搜索（DARTS）的搜索空间上施加了强先验约束，使得同类型单元共享相同的拓扑结构，且每个中间节点保留来自不同节点的两个算子。虽然这些先验约束减少了优化难度并提高了所搜索架构的适用性，但它们阻碍了自动机器学习（Auto-ML）的后续发展，并阻止优化算法通过改进的架构灵活性来探索更强大的神经网络。本文旨在通过消除单元拓扑限制并修改超网络的离散化机制来减少这些先验约束。具体而言，本文提出了利用熵率超网络缩减（ESS）框架的灵活DARTS（FX-DARTS）方法，以应对消除先验约束所带来的挑战。值得注意的是，FX-DARTS能够在保持放大搜索空间稳定性的同时，派生出无严格先验规则的神经网络架构。在图像分类基准测试上的实验结果表明，FX-DARTS能够在单次搜索过程中探索出一组在性能和计算复杂度之间具有竞争力的权衡的神经网络架构。
引用
@article{arxiv.2504.20079,
title = {FX-DARTS: Designing Topology-unconstrained Architectures with Differentiable Architecture Search and Entropy-based Super-network Shrinking},
author = {Xuan Rao and Bo Zhao and Derong Liu and Cesare Alippi},
journal= {arXiv preprint arXiv:2504.20079},
year = {2025}
}