基于 kNN 语言模型的可控生成中的风格局部性
计算与语言
2023-11-02 v1
摘要
近期语言模型通过加入外部记忆得到改进。最近邻语言模型检索相似上下文以辅助词预测。局部性层次的加入使模型能够学习如何根据邻居在源文档中相对于当前文本的位置来加权，已被证明可进一步提升模型性能。最近邻模型已在可控生成中被探索，但尚未考察局部性层次的使用。我们为此提出一种新方法，并在礼貌度、正式度、支持度和毒性文本数据上通过自动与人工评估进行评测。我们发现模型能成功控制风格，并比先前工作提供更好的流畅度-风格权衡。
引用
@article{arxiv.2311.00475,
title = {Style Locality for Controllable Generation with kNN Language Models},
author = {Gilles Nawezi and Lucie Flek and Charles Welch},
journal= {arXiv preprint arXiv:2311.00475},
year = {2023}
}
备注
Accepted to TamingLLM Workshop at SIGDIAL 2023