TruncProof：用于受令牌长度限制下的 LLM 生成 JSON 的守卫
计算与语言
2026-05-14 v1 形式语言与自动机理论
软件工程
摘要
LLM 生成机器可读输出（如 JSON）已引起广泛关注，用于与外部系统集成。然而，现有方法无法严格控制生成的标记数，导致无限生成或输出被截断，从而引发系统故障。为解决此限制，我们提出了 TruncProof，一种 novel 的受语法约束的生成方法，使 LLM 能够在预定义的令牌限制下生成语法有效的 JSON。通过利用 LL(1) 解析器的属性，TruncProof 有效地近似在每个解码步骤完成语法有效输出所需的最少标记数。在 Text-to-JSON 指令任务上的实验表明，TruncProof 成功地即使在严格的令牌限制下也能生成语法正确的输出。此外，我们展示了 TruncProof 可以有效地与高级解码策略结合，产生不仅语法有效而且在语义上准确的输出。
引用
@article{arxiv.2605.13076,
title = {TruncProof: A Guardrail for LLM-based JSON Generation under Token-Length Constraints},
author = {Yoshio Kato and Shuhei Tarashima},
journal= {arXiv preprint arXiv:2605.13076},
year = {2026}
}
备注
Main paper (8 pages). Accepted at the International Joint Conference on Neural Networks (IJCNN 2026)