通过隐属性预训练使小语言模型专用于复杂风格迁移
计算与语言
2023-09-21 v1
摘要
在这项工作中，我们引入复杂文本风格迁移任务的概念，并基于两个广泛适用的场景构建了复杂文本数据集。我们的数据集是此类首个大规模数据集，包含 700 条改写句子以及来自游戏原神（Genshin Impact）的 1,000 条句子。虽然大语言模型（LLM）在复杂文本风格迁移中展现出前景，但它们存在数据隐私担忧、网络不稳定和高部署成本等缺点。为解决这些问题，我们探索了通过对比学习进行隐式风格预训练的小模型（小于 T5-3B）的有效性。我们还提出了一种基于使用 ChatGPT 与人类评估对齐的文本内容生成质量自动评估方法。最后，我们将我们的方法与现有方法比较，并表明我们的模型在少样本文本风格迁移模型中达到了最先进的性能。
引用
@article{arxiv.2309.10929,
title = {Specializing Small Language Models towards Complex Style Transfer via Latent Attribute Pre-Training},
author = {Ruiqi Xu and Yongfeng Huang and Xin Chen and Lin Zhang},
journal= {arXiv preprint arXiv:2309.10929},
year = {2023}
}