通过风格注入实现以受众为中心的自然语言生成
计算与语言
2023-01-26 v1 机器学习
摘要
采用符合语境、针对受众定制的语言风格，是以用户为中心的语言生成系统（如聊天机器人、计算机辅助写作、对话系统）成功的关键。尽管现有方法利用大量平行或非平行数据展示了文本风格迁移，我们认为将风格基于与受众无关的外部因素从根本上存在局限，原因有二：其一，难以收集大量受众特定的风格数据；其二，某些风格目标（如说服力、记忆力、共情）若无受众反馈则难以定义。本文提出新任务“风格注入”——将受众的风格偏好注入预训练语言生成模型。由于人类更擅长成对比较而非直接打分（即样本A是否比样本B更具说服力/礼貌/共情），我们利用有限的成对人类判断来引导风格分析模型并扩充判断种子集。随后，我们在基于GPT-2的文本生成器中注入所学文本风格，同时平衡流畅度与风格采纳。通过定量与定性评估，我们表明该注入方法能用通用文本提示生成引人注目的风格化样例。代码与数据见 https://github.com/CrowdDynamicsLab/StyleInfusion。
引用
@article{arxiv.2301.10283,
title = {Audience-Centric Natural Language Generation via Style Infusion},
author = {Samraj Moorjani and Adit Krishnan and Hari Sundaram and Ewa Maslowska and Aravind Sankar},
journal= {arXiv preprint arXiv:2301.10283},
year = {2023}
}
备注
14 pages, 3 figures, Accepted in Findings of EMNLP 2022