一种用于文本到表格生成的序列到序列与集合模型
计算与语言
2023-06-02 v1
摘要
近来，文本到表格生成任务因其广泛应用而受到越来越多的关注。在此方面，主流模型将该任务形式化为序列到序列生成任务，并在训练时通过按自上而下顺序拼接所有行将每个表格序列化为一个令牌序列。然而，它存在两个严重缺陷：1）预定义顺序在训练中引入了错误偏置，对行之间顺序的偏移施以重罚；2）当模型输出长令牌序列时，错误传播问题变得严重。本文中，我们首先进行初步研究以证明大多数行的生成对顺序不敏感。此外，我们提出一种新颖的序列到序列与集合文本到表格生成模型。具体而言，除编码输入文本的文本编码器外，我们的模型配备表格表头生成器，以序列生成方式首先输出表格表头，即表格的首行。然后我们使用带有可学习行嵌入与列嵌入的表格主体生成器并行生成一组表格主体行。特别地，为处理训练时各生成表格主体行与目标间无对应的问题，我们提出一种基于生成表格主体行首单元格与目标间二分匹配的目标分配策略。实验结果表明，我们的模型显著超越基线，在常用数据集上取得最先进的性能。
引用
@article{arxiv.2306.00137,
title = {A Sequence-to-Sequence&Set Model for Text-to-Table Generation},
author = {Tong Li and Zhihao Wang and Liangying Shao and Xuling Zheng and Xiaoli Wang and Jinsong Su},
journal= {arXiv preprint arXiv:2306.00137},
year = {2023}
}