Syno：神经网络算子的结构化合成
机器学习
2025-08-08 v2 人工智能
分布式、并行与集群计算
性能
摘要
对更好预测精度和更高执行性能的需求永无止境。神经网络架构搜索（NAS）和张量编译器是优化这两个目标的两种流行技术，但它们都局限于组合或优化现有手动设计的算子，而非提出全新的设计。在本工作中，我们探索了研究较少的神经网络算子合成方向，旨在自动且高效地发现具有更好精度和/或速度的新型神经网络算子。我们开发了一个端到端框架 Syno，以实现实用的神经网络算子合成。Syno 利用一组在张量维度上定义的细粒度原语，确保各种期望属性以简化模型训练，并启用表达式规范化技术以在搜索过程中避免冗余候选。Syno 进一步采用一种新颖的引导合成流程，以获得与指定输入/输出维度大小匹配的有效算子，并利用高效的随机树搜索算法快速探索设计空间。我们证明 Syno 在各种硬件和编译器选择下发现了更好的算子，平均加速 1.37 倍至 2.06 倍，即使在 NAS 优化的模型上也保持不到 1% 的精度损失。
引用
@article{arxiv.2410.23745,
title = {Syno: Structured Synthesis for Neural Operators},
author = {Yongqi Zhuo and Zhengyuan Su and Chenggang Zhao and Mingyu Gao},
journal= {arXiv preprint arXiv:2410.23745},
year = {2025}
}