面向快速物理应用的神经架构协同设计

我们开发了一个流水线，用于简化物理应用的神经架构协同设计，以减少为新任务设计模型时对机器学习专业知识的需求。我们的方法采用神经架构搜索和网络压缩的两阶段方法，以发现硬件高效的模型。该方法包括一个全局搜索阶段，在考虑硬件约束的同时探索广泛的架构，随后是一个局部搜索阶段，对最有希望的候选模型进行微调和压缩。我们在各种任务上超越了性能，并通过量化感知训练和神经网络剪枝等模型压缩技术进一步加速。我们将最优模型综合为高级综合代码，用于使用hls4ml库的FPGA部署。此外，我们的分层搜索空间在优化方面提供了更大的灵活性，可以轻松扩展到其他任务和领域。我们通过两个案例研究证明了这一点：材料科学中的布拉格峰寻找和高能物理中的喷注分类，与基线模型相比，实现了更高的精度、更低的延迟或更少的资源利用。