DeepCoT：面向数据流的深度持续 Transformer
机器学习
2026-04-01 v2 计算与语言
计算机视觉与模式识别
摘要
Transformer 模型的规模和参数数量正在不断增长，以解决日益复杂的任务。与此同时，对资源受限设备上高性能、低延迟推理的需求日益增长。特别是流式数据推理通常在滑动时间窗口上执行，导致高度冗余的计算。虽然最近的持续 Transformer 开始解决此问题，但它们只能有效应用于浅层模型，这限制了其范围和泛化能力。本文提出了深度持续 Transformer（DeepCoT），一种可应用于现有深层编码器架构且修改最小化的冗余-free 编码器注意力机制。我们在音频、视频和文本流上进行的实验表明，DeepCoT 在保持与非持续基线相当性能的同时，为所有 Transformer 层提供线性计算成本，相较于以前的高效模型可缩短最长多达两个数量级的运行时间。
关键词
引用
@article{arxiv.2511.17693,
title = {DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams},
author = {Ginés Carreto Picón and Peng Yuan Zhou and Qi Zhang and Alexandros Iosifidis},
journal= {arXiv preprint arXiv:2511.17693},
year = {2026}
}
备注
15 pages, 5 figures