Canvas：神经网络中的端到端核架构搜索
机器学习
2024-11-25 v3 人工智能
计算与语言
分布式、并行与集群计算
性能
摘要
对神经网络（NNs）更高性能与精度的需求从未停止。现有的张量编译与神经架构搜索（NAS）技术正交地优化这两个目标，但在具体策略上实际共享许多相似之处。我们利用这一机会将二者合而为一，并提出核架构搜索（KAS）的论点。KAS从系统视角审视NAS，并缩放至更细粒度层面以生成兼具高性能与良好精度的神经核。为展示KAS的潜力，我们构建了一个端到端框架Canvas，以寻找作为卷积替代的高质量核。Canvas从丰富的细粒度原语集合中采样，随机且迭代地构造新核，并根据用户指定约束对其进行评估。Canvas支持核内自由可调的张量维度大小，并使用两级求解器来满足结构合法性并充分利用模型预算。评估表明，通过在常用NNs中用生成的新核替换标准卷积，Canvas相较先前最先进方法实现了平均1.5倍加速，且精度损失与搜索开销可接受。Canvas通过重新发现过去许多人工设计的核并产出可能启发未来机器学习创新的新结构，验证了KAS的实用性。关于源代码与实现，我们已在 https://github.com/tsinghua-ideal/Canvas 开源Canvas。
引用
@article{arxiv.2304.07741,
title = {Canvas: End-to-End Kernel Architecture Search in Neural Networks},
author = {Chenggang Zhao and Genghan Zhang and Ao Shen and Mingyu Gao},
journal= {arXiv preprint arXiv:2304.07741},
year = {2024}
}