更小、更快、更便宜：高效机器学习的架构设计

计算机视觉模型能力的重大进步主要依赖于数据集、模型参数和计算预算的快速扩张，导致对计算基础设施的需求不断增加。然而，随着这些模型在越来越多样化且资源受限的环境中部署，迫切需要能够在更少计算资源下实现高性能的架构。本论文聚焦于通过何种架构原则实现模型在降低计算需求的同时提升性能。我们通过三个方向展示了取得的进展：首先，关注数据 ingress 与 egress，探讨信息如何被传入和取出核心神经处理单元，以确保模型充分利用可用数据，使更小的架构能够更具表现性。其次，研究修改核心神经网络架构，应用于视觉Transformer中的受限注意力。本章节探讨了通过移除均匀上下文窗口来增强受限注意力的表达能力。最后，我们探索正常流（Normalizing Flows）的自然结构，利用这些特性更好地蒸馏模型知识。这些贡献表明，精心设计的神经网络架构能够提高机器学习算法的效率，使其变得更小、更快、更便宜。