基于笛卡尔遗传编程编码方法的神经架构搜索
神经与进化计算
2021-09-30 v5
摘要
神经架构搜索（NAS）是自动化机器学习领域的热点，并在不少机器学习任务上设计神经架构优于人类。受笛卡尔遗传编程（CGP）对神经网络自然表示形式的启发，我们提出一种基于 CGP 的 NAS 进化方法，称为 CGPNAS，用于解决句子分类任务。为在 CGP 框架下演化架构，将卷积等操作标识为 CGP 的函数节点类型，并基于进化策略设计进化操作。实验结果表明，搜索得到的架构性能可与人类设计的架构相媲美。我们验证了所演化架构的领域迁移能力。迁移实验结果显示准确率退化低于 2-5%。最后，消融研究指出 Attention 函数为唯一关键函数节点，且仅沿用的线性变换可保持与完整演化架构相近的准确率，这值得未来深入研究。
引用
@article{arxiv.2103.07173,
title = {Neural Architecture Search based on Cartesian Genetic Programming Coding Method},
author = {Xuan Wu and Linhan Jia and Xiuyi Zhang and Liang Chen and Yanchun Liang and You Zhou and Chunguo Wu},
journal= {arXiv preprint arXiv:2103.07173},
year = {2021}
}