HHNAS-AM：使用自适应变异策略的分层混合神经架构搜索
机器学习
2025-08-22 v1
摘要
神经架构搜索（Neural Architecture Search, NAS）因其能够发现优于人工设计的架构而引起了广泛的研究兴趣。学习文本表示对于文本分类和其他语言相关任务至关重要。用于文本分类的NAS模型缺乏混合分层结构，且对架构结构没有限制，导致搜索空间变得非常大且大部分是冗余的，因此现有的强化学习（RL）模型无法有效地在搜索空间中导航。此外，进行扁平化架构搜索会导致无组织的搜索空间，难以遍历。为此，我们提出了HHNAS-AM（使用自适应变异策略的分层混合神经架构搜索，Hierarchical Hybrid Neural Architecture Search with Adaptive Mutation Policies），这是一种有效探索多样架构配置的新方法。我们引入了一些架构模板以供搜索，从而组织搜索空间，其中搜索空间是基于特定领域的线索设计的。我们的方法采用变异策略，利用Q-learning根据先前迭代的性能反馈进行动态适应，从而实现对搜索空间更有效、更快速的遍历。所提出的模型是完全概率性的，能够对搜索空间进行有效探索。我们在数据库ID（db_id）预测任务上评估了我们的方法，该方法在多次实验中始终发现高性能架构。在Spider数据集上，我们的方法在测试准确率上比现有基线提高了8%。
引用
@article{arxiv.2508.14946,
title = {HHNAS-AM: Hierarchical Hybrid Neural Architecture Search using Adaptive Mutation Policies},
author = {Anurag Tripathi and Ajeet Kumar Singh and Rajsabi Surya and Aum Gupta and Sahiinii Lemaina Veikho and Dorien Herremans and Sudhir Bisane},
journal= {arXiv preprint arXiv:2508.14946},
year = {2025}
}