StyleDistance：带合成平行样例的更强内容无关风格嵌入
计算与语言
2025-02-11 v2 机器学习
摘要
风格表示旨在将具有相似写作风格的文本嵌入得靠近，同时将具有不同风格的文本嵌入得远离，需不受内容影响。然而，常用于训练这些表示的对比三元组可能在风格和内容上都有所不同，导致表示中潜在的内容泄漏。我们提出 StyleDistance，一种训练更强内容无关风格嵌入的新方法。我们使用大型语言模型创建包含受控风格变化的近乎精确平行式的合成数据集，并为精确的对比学习生成跨 40 个不同风格特征的正负样本。我们通过人工和自动评估来评估合成数据的质量和嵌入。StyleDistance 增强了风格嵌入的内容独立性，这些嵌入可推广到真实世界基准，并在下游应用中超越领先的风格表示。我们的模型可在 https://huggingface.co/StyleDistance/styledistance 找到。
引用
@article{arxiv.2410.12757,
title = {StyleDistance: Stronger Content-Independent Style Embeddings with Synthetic Parallel Examples},
author = {Ajay Patel and Jiacheng Zhu and Justin Qiu and Zachary Horvitz and Marianna Apidianaki and Kathleen McKeown and Chris Callison-Burch},
journal= {arXiv preprint arXiv:2410.12757},
year = {2025}
}
备注
To appear at NAACL 2025