MIMONets：利用叠加计算的多输入多输出神经网络
机器学习
2023-12-06 v1 人工智能
机器学习
摘要
随着深度学习的出现，人们设计了越来越大的神经网络来解决复杂任务。我们利用这些容量丰富的模型，通过利用叠加计算来降低推理成本。为减少每个输入的计算负担，我们提出了能够同时处理多个输入的多输入多输出神经网络（MIMONets）。MIMONets 通过可变绑定机制增强各种深度神经网络架构，以通过固定宽度的分布式表示在组合数据结构中表示任意数量的输入。相应地，MIMONets 调整非线性神经变换以整体处理该数据结构，从而实现与数据结构中叠加输入项数量近乎成正比的加速。在叠加处理后，解绑机制恢复每个感兴趣的变换后输入。MIMONets 还通过在一组固定的参数内，在精度-吞吐量操作点之间进行即时的按需切换，提供了精度与吞吐量之间的动态权衡。我们将 MIMONets 的概念应用于 CNN 和 Transformer 架构，分别得到了 MIMOConv 和 MIMOFormer。实证评估表明，在 CIFAR10 和 CIFAR100 上，与 WideResNet CNN 相比，MIMOConv 实现了约 2-4 倍的加速，精度变化在 [+0.68%, -3.18%] 范围内。类似地，在 Long Range Arena 基准测试中，MIMOFormer 可以同时处理 2-4 个输入，同时保持较高的平均精度，精度变化在 [-1.07%, -3.43%] 范围内。最后，我们给出了 MIMOFormer 中叠加通道间干扰的数学界限。我们的代码可在 https://github.com/IBM/multiple-input-multiple-output-nets 获取。
引用
@article{arxiv.2312.02829,
title = {MIMONets: Multiple-Input-Multiple-Output Neural Networks Exploiting Computation in Superposition},
author = {Nicolas Menet and Michael Hersche and Geethan Karunaratne and Luca Benini and Abu Sebastian and Abbas Rahimi},
journal= {arXiv preprint arXiv:2312.02829},
year = {2023}
}
备注
accepted in NeurIPS 2023