大型语言模型生成的可验证格式控制
计算与语言
2025-02-10 v1
摘要
近期的大型语言模型展示了令人满意的通用指令遵循能力。然而，约 7B 参数的小型 LLM 在细粒度格式遵循（例如 JSON 格式）方面仍然存在困难，这严重阻碍了其应用的发展。现有大多数方法专注于对通用指令遵循进行基准测试，而忽略了如何提高小型 LLM 的特定格式遵循能力。此外，这些方法通常依赖于基于高级 LLM（例如 GPT-4）的评估，这可能会引入 LLM 的固有偏差，并且由于 API 调用而成本高昂。在本文中，我们首先整理了一个完全可验证的格式遵循数据集 VFF。与现有工作通常采用外部 LLM 进行指令遵循验证不同，VFF 的每个样本都可以用 Python 函数轻松验证。此外，我们提出利用这种可验证特性来合成大量数据，以渐进式训练小型 LLM，从而提高其格式遵循能力。实验结果突出了 7B 级开源 LLM 在格式遵循能力方面的普遍局限性，并证明了我们的方法在增强这一基本能力方面的有效性。
引用
@article{arxiv.2502.04498,
title = {Verifiable Format Control for Large Language Model Generations},
author = {Zhaoyang Wang and Jinqi Jiang and Huichi Zhou and Wenhao Zheng and Xuchao Zhang and Chetan Bansal and Huaxiu Yao},
journal= {arXiv preprint arXiv:2502.04498},
year = {2025}
}
备注
To appear at Findings of NAACL 2025