超越对称：序列到序列模型的结构化剪枝以提升推理效率

序列到序列语言模型可用于生成连贯、相关且简洁的抽象摘要。然而，模型规模仍可能使其在延迟敏感或万维网规模的应用中难以部署。本文研究了在广泛使用的摘要数据集上模型规模、结构化剪枝、推理效率与摘要精度之间的关系。我们表明模型精度与编码器规模相关，而推理效率与解码器相关。采用非对称剪枝可带来近3倍的推理延迟改善，且Rouge-2仅损失约1个点。此外，我们发现平均性能退化及非对称性的作用在不同模型规模与数据集变体下均保持一致。