价值残差学习
计算与语言
2025-06-10 v5
摘要
虽然 Transformer 模型在 various 领域取得了显著的成功，但通过深层网络的信息传播效果仍然是一个 critical 挑战。标准的隐藏状态残差往往无法充分保留更深层次中初始 token 级别的信息。本文引入 ResFormer，这是一种新型架构，通过在隐藏状态残差之外引入价值残差连接来增强信息流。我们提出的 ResFormer 能够以 16.11% 更少的模型参数和 20.3% 更少的训练数据实现与 Transformer 相当的验证损失，同时保持类似的内存使用和计算成本。此外，SVFormer 可将 KV 缓存大小缩减近一半，仅带来小幅性能代价，并且可以与其他 KV 高效方法集成，从而进一步降低 KV 缓存，性能受序列长度和累积学习率影响。
引用
@article{arxiv.2410.17897,
title = {Value Residual Learning},
author = {Zhanchao Zhou and Tianyi Wu and Zhiyun Jiang and Fares Obeid and Zhenzhong Lan},
journal= {arXiv preprint arXiv:2410.17897},
year = {2025}
}