使用梯度缓存的端到端长文档摘要

由于训练期间二次方的内存消耗，训练基于 Transformer 的编码器-解码器模型进行长文档摘要面临重大挑战。已有多种方法被提出以在测试时扩展输入长度，但使用这些方法进行训练仍然困难，需要截断输入文档并导致训练与测试条件之间的不匹配。在本工作中，我们提出了 CachED（用于编码器-解码器模型的梯度缓存，Gradient $\textbf{Cach}$ing for $\textbf{E}$ncoder-$\textbf{D}$ecoder models），这是一种能够对现有基于 Transformer 的编码器-解码器模型进行端到端训练的方法，使用完整文档而无需截断。具体而言，我们对输入文档应用非重叠滑动窗口，随后在解码器中进行融合。在反向传播期间，梯度被缓存在解码器中，并通过重新计算隐藏向量以分块的形式传递通过编码器，这类似于梯度检查点。在长文档摘要的实验中，我们将 BART 扩展为 CachED BART，在训练期间处理超过 500K 个 token，并在不使用任何额外参数的情况下取得了卓越的性能。