ResFormer：用于长序列分类的全时段储存器记忆
计算与语言
2025-09-30 v1
摘要
序列分类是 NLP 中的关键任务，涉及情感分析、意图检测和主题分类等。尽管 Transformer 模型取得了最新性能，但因其二次时间和内存复杂度，限制了输入长度。虽然已有大量努力旨在降低计算需求，但处理大规模上下文仍具有挑战性。为克服这些限制，我们提出 ResFormer，这是一种新型神经网络架构，通过级联方法高效地建模可变上下文长度。ResFormer 集成了具有非线性读取器的储存计算网络，以线性时间有效捕获长期依赖关系。同时，使用固定长度输入的常规 Transformer 架构来建模句子内的短期依赖。实验表明，ResFormer 在 DeepSeek-Qwen 和 ModernBERT 等基线模型上显著优于， 在 EmoryNLP 数据集上准确率提升最高可达 +22.3%，在 MultiWOZ、MELD 和 IEMOCAP 上持续取得 gains。此外，ResFormer 还显示出更低的内存消耗，凸显其在建模大规模上下文信息方面的有效性和效率。
引用
@article{arxiv.2509.24074,
title = {ResFormer: All-Time Reservoir Memory for Long Sequence Classification},
author = {Hongbo Liu and Jia Xu},
journal= {arXiv preprint arXiv:2509.24074},
year = {2025}
}
备注
Accepted at EMNLP 2025. To appear in the proceedings