探索上下文词级风格相关性以实现无监督风格迁移
计算与语言
2022-03-14 v2 机器学习
摘要
无监督风格迁移旨在改变输入句子的风格，同时保留其原始内容，且不使用平行训练数据。在当前的主流方法中，由于缺乏对目标风格影响的细粒度控制，它们无法产生理想的输出句子。在本文中，我们提出了一种新颖的注意力序列到序列（Seq2seq）模型，该模型动态地利用每个输出词与目标风格的相关性来进行无监督风格迁移。具体来说，我们首先预训练一个风格分类器，其中每个输入词与原始风格的相关性可以通过逐层相关性传播进行量化。我们以去噪自编码的方式训练一个注意力 Seq2seq 模型，以同时重建输入句子并重新预测先前量化的词级风格相关性。通过这种方式，该模型被赋予了自动预测每个输出词风格相关性的能力。然后，我们为该模型的解码器配备一个神经风格组件，以利用预测的词级风格相关性来实现更好的风格迁移。特别地，我们使用一个精心设计的目标函数对该模型进行微调，该函数包含风格迁移、风格相关性一致性、内容保留和流畅度建模损失项。实验结果表明，我们提出的模型在迁移准确性和内容保留方面均达到了最先进的性能。
引用
@article{arxiv.2005.02049,
title = {Exploring Contextual Word-level Style Relevance for Unsupervised Style Transfer},
author = {Chulun Zhou and Liangyu Chen and Jiachen Liu and Xinyan Xiao and Jinsong Su and Sheng Guo and Hua Wu},
journal= {arXiv preprint arXiv:2005.02049},
year = {2022}
}
备注
Accepted by ACL2020