基于TabT5的表格到文本生成与预训练
计算与语言
2022-10-18 v1 机器学习
摘要
仅编码器的transformer模型已成功应用于不同的表格理解任务,如TAPAS(Herzig等人,2020)。这些架构的一个主要限制是它们被约束于类似分类的任务,例如单元格选择或蕴含检测。我们提出TABT5,一种基于表格与文本输入生成自然语言文本的编码器-解码器模型。TABT5通过引入解码器组件克服了仅编码器的限制,并利用表格特定嵌入与预训练来利用输入结构。TABT5在多个领域取得了新的最先进结果,包括电子表格公式预测(序列准确率提升15%)、问答(序列准确率提升2.5%)以及数据到文本生成(BLEU提升2.5%)。
引用
@article{arxiv.2210.09162,
title = {Table-To-Text generation and pre-training with TabT5},
author = {Ewa Andrejczuk and Julian Martin Eisenschlos and Francesco Piccinno and Syrine Krichene and Yasemin Altun},
journal= {arXiv preprint arXiv:2210.09162},
year = {2022}
}
备注
Accepted to Findings of EMNLP 2022