元知识辅助进化神经网络结构搜索
量子气体
2025-09-08 v2
摘要
基于进化计算(EC)的神经网络结构搜索(NAS)在自动化神经网络架构设计方面取得了显著的性能。然而，评估所搜索架构所需的高计算成本是这些方法面临的挑战，而固定的学习率 (LR) 方案意味着对不同所搜索架构信息丢失更大。本文通过一种创新的元学习框架引入一种高效的 EC-based NAS 方法以解决这些问题。具体而言，通过预训练获得适合的 LR 计划，这一元学习率 (Meta-LR) 方案可在评估每个 individual 时以更低的信息损失指导训练过程。此外，我们通过自适应阈值设计了一种自适应替代模型，用于在少数 epoch 中筛选潜在架构，然后用完整的 epoch 对潜在架构进行评估。此外，提出了一个周期变异算子，以增加种群的多样性，从而增强方法的通用性和鲁棒性。在 CIFAR-10、CIFAR-100 和 ImageNet1K 数据集上的实验表明，所提出的方法在性能上与许多最新 SOTA 方法相当，同时计算成本更低且更具鲁棒性。
引用
@article{arxiv.2504.21546,
title = {Hierarchy of pairing in imbalanced three-component one-dimensional Fermi gas},
author = {Buğra Tüzemen and Tomasz Sowiński},
journal= {arXiv preprint arXiv:2504.21546},
year = {2025}
}
备注
Authors' version accepted for publication