TESS：文本到文本自条件单纯形扩散
计算与语言
2024-02-22 v2 机器学习
摘要
扩散模型已成为一种强大的生成范式，在多个连续域取得优异性能。然而，因其离散特性及生成文本需大量扩散步数，将连续扩散模型应用于自然语言仍具挑战，致使基于扩散的生成代价高昂。本文提出文本到文本自条件单纯形扩散（TESS），一种全非自回归的文本扩散模型，采用新形式的自条件，并将扩散过程应用于 logit 单纯形空间而非所学嵌入空间。通过在自然语言理解与生成任务（含摘要、文本简化、复述生成与问题生成）上的广泛实验，我们证明 TESS 优于最先进的非自回归模型，所需扩散步数更少且性能下降极小，并与预训练自回归序列到序列模型具竞争力。我们在 https://github.com/allenai/tess-diffusion 公开了代码库。
引用
@article{arxiv.2305.08379,
title = {TESS: Text-to-Text Self-Conditioned Simplex Diffusion},
author = {Rabeeh Karimi Mahabadi and Hamish Ivison and Jaesung Tae and James Henderson and Iz Beltagy and Matthew E. Peters and Arman Cohan},
journal= {arXiv preprint arXiv:2305.08379},
year = {2024}
}
备注
EACL 2024