利用归一化流与激进训练提升摘要性能
计算与语言
2025-05-02 v1 人工智能
摘要
本文提出 FlowSUM,一种基于归一化流(normalizing flows)的变分编码器-解码器框架,用于基于 Transformer 的摘要生成。我们的方法解决了变分摘要中的两个主要挑战:潜表示中语义信息不足以及训练期间的后验坍缩。为应对这些挑战,我们采用归一化流以实现灵活的潜后验建模,并提出了一种带有改进门机制的受控交替激进训练(CAAT)策略。实验结果表明,FlowSUM 显著提升了生成摘要的质量,并以对推理时间极小的影响释放了知识蒸馏的潜力。此外,我们研究了归一化流中的后验坍缩问题,并分析了摘要质量如何受训练策略、门初始化以及所用归一化流的类型和数量的影响,为未来研究提供了有价值的见解。
引用
@article{arxiv.2311.00588,
title = {Boosting Summarization with Normalizing Flows and Aggressive Training},
author = {Yu Yang and Xiaotong Shen},
journal= {arXiv preprint arXiv:2311.00588},
year = {2025}
}