基于深度神经网络的高效在线处理

深度神经网络（DNNs）的能力与采用正以令人振奋的速度增长：视觉模型能准确分类视频中的人类动作，并比人类专家更精确地识别医学扫描中的癌变组织；大语言模型（LLM）回答广泛的问题、生成代码并撰写散文，成为日常饭桌上的话题。尽管其用途令人振奋，但持续增长的模型规模与计算复杂度却有着阴暗面。训练与部署模型的经济成本及负面环境外部性，显然与财务可行性和气候行动目标不协调。本学位论文不追求预测性能的进一步提升，而是致力于改进神经网络的效率。具体而言，一项核心贡献针对在线推理阶段的效率问题。在此，提出并探讨了持续推理网络（CINs）的概念，相关成果分布于四篇出版物中。CINs 扩展了先前为离线处理时空数据开发的最先进（SOTA）方法，并复用其预训练权重，将在线处理效率提升一个数量级。这些进展通过自底向上的计算重组与审慎的架构修改得以实现。通过将若干广泛使用的网络架构（包括 3D CNNs、ST-GCNs 和 Transformer Encoders）重构为 CINs，展示了其对在线推理的益处。另一项正交贡献解决了将大型源模型并发适配并加速为多个轻量级派生模型的问题。借助可融合适配器网络与结构化剪枝，结构化剪枝适配器（Structured Pruning Adapters）在激进剪枝下以显著少于剪枝微调的学习权重取得了更优的预测精度。