SMCLM：面向自回归释义生成的语义有意义的因果语言建模
计算与语言
2025-07-08 v1
摘要
本文介绍了语义有意义的因果语言建模（SMCLM），这是一种训练自回归模型生成语义等价文本的自监督方法。我们的方法涉及在自回归训练和生成过程中使用语义有意义的文本表示作为初始嵌入。广泛的实证研究表明，SMCLM方法使自回归模型能够学习鲁棒且高质量的释义生成。所提出的方法与监督方法具有竞争力，并在无监督方法中取得了最先进的结果。本文还提出了一套全面的自动评估指标，涵盖了自动生成释义评估的多个方面。同时，本文强调了在释义生成评估中广泛使用的指标（包括BLEU、ROUGE和BERTScore）的低可靠性。
引用
@article{arxiv.2507.03415,
title = {SMCLM: Semantically Meaningful Causal Language Modeling for Autoregressive Paraphrase Generation},
author = {Michał Perełkiewicz and Sławomir Dadas and Rafał Poświata},
journal= {arXiv preprint arXiv:2507.03415},
year = {2025}
}