基于连续蚂蚁的神经网络拓扑搜索
神经与进化计算
2020-11-24 v1 人工智能
机器学习
摘要
本工作介绍了一种新颖的、受自然启发的神经架构搜索(NAS)算法，即基于蚁群优化的连续蚂蚁神经拓扑搜索(Continuous Ant-based Neural Topology Search, CANTS)。该算法利用合成蚂蚁在连续搜索空间上依据信息素密度与分布移动，其设计深受真实世界中蚂蚁移动方式的启发。蚂蚁智能体在搜索空间中所经路径被用于构建人工神经网络(ANNs)。该连续搜索空间使CANTS能够自动化设计任意规模的ANN，消除了许多当前NAS算法必须在用户预先设定规模的结构内运行这一关键局限。CANTS采用分布式异步策略，可扩展至大规模高性能计算资源，支持多种循环记忆单元结构，并利用公共权重共享策略以减少训练时间。所提方法在电力系统领域的三个真实世界时间序列预测问题上进行了评估，并与两种SOTA算法比较。结果表明，CANTS在所有这些问题上均能提供更优或具竞争力的结果，同时更易于使用，所需用户指定超参数数量减半。
引用
@article{arxiv.2011.10831,
title = {Continuous Ant-Based Neural Topology Search},
author = {AbdElRahman ElSaid and Joshua Karns and Zimeng Lyu and Alexander Ororbia and Travis Desell},
journal= {arXiv preprint arXiv:2011.10831},
year = {2020}
}