面向神经网络架构的对比嵌入
机器学习
2021-05-10 v2 机器学习
摘要
神经架构搜索算法的性能强烈依赖于搜索空间的参数化方式。我们使用对比学习基于数据 Jacobian 在不同初始化下识别网络，并自动生成首个与搜索空间参数化无关的架构嵌入。利用我们的对比嵌入，我们展示了未经修改的传统黑盒优化算法能够在神经架构搜索中达到最先进（SOTA）性能。由于我们的方法提供了一个统一的嵌入空间，我们首次实现了搜索空间之间的迁移学习。最后，我们展示了训练过程中嵌入的演化，为未来研究在训练不同阶段使用嵌入以更深入理解搜索空间中网络的研究提供了动机。
引用
@article{arxiv.2102.04208,
title = {Contrastive Embeddings for Neural Architectures},
author = {Daniel Hesslow and Iacopo Poli},
journal= {arXiv preprint arXiv:2102.04208},
year = {2021}
}
备注
Add "This project has received funding from the European Union's Horizon 2020 research and innovation programme under the Marie Sklodowska-Curie grant agreement No 860830"