基于风格掩码语言模型的文本风格迁移
计算与语言
2022-10-13 v1
摘要
文本风格迁移（TST）可通过隐空间解耦、循环一致性损失、原型编辑等方法实现。已知在 TST 中相当成功的原型编辑方法包含两个关键阶段：a) 对源风格相关词元进行掩码；b) 以目标风格为条件对源风格掩码句子进行重构。我们遵循类似的转导方法，将更困难的源到目标直接 TST 任务转化为更简单的风格掩码语言模型（SMLM）任务，其中类似于 BERT \cite{bert}，我们模型的目标现在是从其风格掩码版本重构源句子。我们通过在概率框架中表述原型编辑/转导方法自然得到 SMLM 机制，其中 TST 归结为从部分观测的平行数据集估计一个假设的平行数据集，其中每个域被假设具有一个共同的潜在风格掩码先验。为生成该风格掩码先验，我们使用“可解释注意力”作为归因选择以实现更精确的风格掩码步骤，并引入一种经济且准确的“归因盈余”方法，可在 O(1) 时间内从任意归因模型确定掩码位置。我们经验性地表明，这种非生成式方法很好地契合了像 TST 这类任务的“内容保持”准则，即便对于如语篇操控这样的复杂风格也是如此。我们的模型 Style MLM 优于强 TST 基线，并与使用复杂架构和数量级更多参数的 SOTA TST 模型相当。
引用
@article{arxiv.2210.06394,
title = {On Text Style Transfer via Style Masked Language Models},
author = {Sharan Narasimhan and Pooja Shekar and Suvodip Dey and Maunendra Sankar Desarkar},
journal= {arXiv preprint arXiv:2210.06394},
year = {2022}
}