CEV-LM：用于塑造自然语言生成的受控编辑向量语言模型
计算与语言
2024-02-23 v1 机器学习
摘要
随着大规模语言模型成为文本生成的标准，根据受众/应用需求定制生成内容，使其更简洁、更有针对性或信息量更大，变得愈发重要。现有的控制方法主要调整文本的语义（如情感、主题）、结构（如句法树、词性）和词汇（如关键词/短语包含）属性，但不足以实现诸如节奏控制等复杂目标，而节奏控制关乎文本的复杂度和可读性。在本文中，我们介绍了 CEV-LM——一种轻量级、半自回归语言模型，它利用受限编辑向量来控制三个互补指标（速度、容量和迂回度），从而量化文本的形态（例如内容节奏）。我们研究了一系列最先进的受控文本生成 (CTG) 模型，发现 CEV-LM 在使用更少训练数据和包含更少参数的情况下，能在保持语义内容的同时，对这三个指标提供显著更有针对性和更精确的控制。
引用
@article{arxiv.2402.14290,
title = {CEV-LM: Controlled Edit Vector Language Model for Shaping Natural Language Generations},
author = {Samraj Moorjani and Adit Krishnan and Hari Sundaram},
journal= {arXiv preprint arXiv:2402.14290},
year = {2024}
}
备注
16 pages, 3 figures, accepted into EACL 2024