通过链式规范提示提升黑箱大语言模型的结构多样性
计算与语言
2024-08-13 v1 机器学习
摘要
生成多样化文本的能力是大型语言模型（LLMs）面临的关键挑战之一。到目前为止，多样性研究主要通过n-gram多样性或BERT嵌入多样性等指标进行。然而，对于这类多样性，用户对所考虑多样性的维度几乎没有控制。例如，在诗歌领域，人们可能希望多样性体现在韵律和格律方面，而在代码领域，人们可能希望多样性体现在用于解决问题的表达式类型方面。我们提出了一种称为结构多样性的多样性度量，其中用户提供一个将生成文本映射到其所关心的多样性特征的映射。此外，我们提出了一种名为链式规范（chain-of-specification, CoS）提示的新策略，通过首先让LLM生成编码一个结构特征实例的规范，然后提示LLM生成满足这些特征的文本来提升多样性；值得注意的是，我们的策略适用于黑箱LLMs。在实验中，我们证明在诗歌和代码领域的结构多样性方面，CoS相较于多个基线显著提升了多样性。
引用
@article{arxiv.2408.06186,
title = {Improving Structural Diversity of Blackbox LLMs via Chain-of-Specification Prompting},
author = {Halley Young and Yimeng Zeng and Jacob Gardner and Osbert Bastani},
journal= {arXiv preprint arXiv:2408.06186},
year = {2024}
}