基于自并行监督的非平行文本风格迁移
计算与语言
2022-04-19 v1 人工智能
机器学习
摘要
现有文本风格迁移模型的性能受到其训练所依赖的非平行数据集的严重影响。在非平行数据集中，源风格与目标风格的句子之间不存在直接映射；因此风格迁移模型在训练时仅接收到目标句子的弱监督，这常导致模型丢弃过多与风格无关的信息，或完全无法迁移风格。在本工作中，我们提出 LaMer，一种基于大规模语言模型的新型文本风格迁移框架。LaMer 首先利用场景图在非平行数据集中挖掘大致平行的表达，随后采用最大似然估计（MLE）训练，并通过模仿学习精炼，以利用数据内部固有的平行性。在两个基准任务（情感与正式度迁移）以及一个新提出的具有挑战性的任务（政治立场迁移）上，我们的模型在迁移准确率、内容保持和流畅度方面取得了定性的进展。进一步的经验性与人工评估表明，我们的模型不仅使训练更高效，而且比以往模型生成更具可读性与多样性的表达。
引用
@article{arxiv.2204.08123,
title = {Non-Parallel Text Style Transfer with Self-Parallel Supervision},
author = {Ruibo Liu and Chongyang Gao and Chenyan Jia and Guangxuan Xu and Soroush Vosoughi},
journal= {arXiv preprint arXiv:2204.08123},
year = {2022}
}
备注
In ICLR 2022