AsCAN：用于高效识别与生成的非对称卷积-注意力网络

神经网络架构设计需要做出许多关键决策。共同的要求是，类似的决策只需少量修改即可在多种任务和应用中复用。为满足这一要求，架构必须在延迟与性能之间提供有前景的权衡，支持多种任务，在数据和计算量方面高效扩展，利用来自其他任务的可用数据，并高效支持各种硬件。为此，我们引入了 AsCAN——一种混合架构，结合了卷积块和 Transformer 块。我们重新审视了混合架构的关键设计原则，并提出了一种简单有效的非对称架构，其中卷积块和 Transformer 块的分布是非对称的，在早期阶段包含更多卷积块，在后期阶段包含更多 Transformer 块。AsCAN 支持多种任务：识别、分割、类别条件图像生成，并在性能与延迟之间展现出优越的权衡。随后，我们将相同架构扩展以解决大规模文本到图像任务，并与最新的公开和商业模型相比展现了最先进性能。值得注意的是，即使没有对 Transformer 块进行任何计算优化，我们的模型仍然比现有采用高效注意力机制的工作产生更快的推理速度，突显了我们方法的优势和价值。