CP 与 NLP 的交织:生成不可约束句子
计算与语言
2024-12-30 v2 人工智能
摘要
受限文本生成仍是一个具有挑战性的任务,尤其是处理硬性约束时。传统 NLP 方法优先生成有意义且连贯的输出。此外,当前的 SOTA 方法往往缺乏表达力和约束满足能力,难以有效处理此类任务。最近,Bonlarron 等人(2023)提出了一种用于生成受 MNREAD 规则约束的句子的方法。尽管这种方法被证明在计算和结构上不适用于处理其他更复杂的约束问题,但本文引入了一种更通用的新方法,以解决大多数此前难以处理的问题,此处以遵循 RADNER 规则的句子生成问题为例进行说明。更准确地说,本文提出了 CPTextGen 框架。该框架将受限文本生成问题视为离散组合优化问题,通过结合语言属性(如 n-gram 或语言层级)与其他更经典的约束(如字符数、音节数)的约束编程方法进行求解。最终,通过困惑度(perplexity)使用 LLM 进行筛选,选出最佳生成句子。我们通过解决一个更繁琐的受限文本生成问题——标志性的 RADNER 句子问题——展示了该方法的有效性。该问题旨在生成遵守一组相当严格规则的句子,这些规则用于视觉和临床研究。得益于基于 CP 的方法,我们成功生成了许多高度受限的句子。这凸显了该方法处理不可约束文本生成情境的潜力。
引用
@article{arxiv.2406.15473,
title = {Intertwining CP and NLP: The Generation of Unreasonably Constrained Sentences},
author = {Alexandre Bonlarron and Jean-Charles Régin},
journal= {arXiv preprint arXiv:2406.15473},
year = {2024}
}
备注
Disambiguation and additional references