评估文本到表格生成中的结构化解码：来自三个数据集的证据
计算与语言
2025-08-25 v1 人工智能
信息检索
摘要
我们对大语言模型（LLM）中用于文本到表格生成的结构化解码进行了全面评估。虽然先前的工作主要关注表格的无约束生成，但在生成过程中强制执行结构约束的影响仍未得到充分探讨。我们使用来自三个多样化基准数据集（E2E、Rotowire 和 Livesum）的开源 LLM（参数最多达320亿），系统比较了以模式引导的结构化解码与标准的零样提示方法，评估了资源受限环境下表格生成方法的性能。我们的实验涵盖了单元格、行和表格级别的广泛评估指标。结果表明，结构化解码显著提升了生成表格的有效性和对齐性，尤其是在需要精确数值对齐的场景（Rotowire）中，但在涉及密集文本信息的上下文（E2E）或对长文本进行大量聚合的场景（Livesum）中可能导致性能下降。我们进一步分析了不同评估指标的适用性，并讨论了模型规模的影响。
引用
@article{arxiv.2508.15910,
title = {Evaluating Structured Decoding for Text-to-Table Generation: Evidence from Three Datasets},
author = {Julian Oestreich and Lydia Müller},
journal= {arXiv preprint arXiv:2508.15910},
year = {2025}
}
备注
to be published in the workshop proceedings of the "From Rules to Language Models: Comparative Performance Evaluation" workshop, held alongside RANLP 2025