QuadraNet：利用硬件感知二次神经网络提升高阶神经交互效率

近期面向计算机视觉的神经网络设计进展主要由捕获输入与特征间的高阶神经交互所驱动。为此出现了多种方法，如Transformer及其变体。然而，这些交互会产生大量中间状态和高数据依赖，导致可观的内存消耗与计算成本，从而损害整体运行时性能。为应对这一挑战，我们以二次计算方式重新思考高阶交互神经网络设计。具体而言，我们提出QuadraNet——一种从神经元重构到结构块乃至整体神经网络实现的综合模型设计方法。借助二次神经元固有的高阶优势与专用计算优化方案，QuadraNet能有效实现最优认知与计算性能。结合最先进的硬件感知神经架构搜索与系统集成技术，QuadraNet也能在不同硬件约束设置与部署场景中良好泛化。实验表明，与最先进的高阶方法相比，QuadraNet实现了高达1.5$\times$吞吐量、减少30%内存占用以及相近的认知性能。