基于小数据集的神经数据到文本生成：比较在大型语言模型之上两种半监督学习方法的附加价值
计算与语言
2022-07-15 v1
摘要
本研究探讨了半监督学习结合预训练语言模型用于数据到文本生成的效果。目前尚不清楚当大规模语言模型也被补充时，半监督学习是否仍有助益。本研究旨在通过比较仅补充语言模型的数据到文本系统，与另外两个分别通过数据增强或伪标注半监督学习方法进一步丰富的数据到文本系统，来回答此问题。结果表明，半监督学习在多样性指标上获得更高分数。在输出质量方面，使用伪标注方法以语言模型扩展数据到文本系统训练集确实提升了文本质量分数，但数据增强方法所得分数与未扩展训练集的系统相似。这些结果表明，即便存在语言模型，半监督学习方法仍能提升输出质量与多样性。
引用
@article{arxiv.2207.06839,
title = {Neural Data-to-Text Generation Based on Small Datasets: Comparing the Added Value of Two Semi-Supervised Learning Approaches on Top of a Large Language Model},
author = {Chris van der Lee and Thiago Castro Ferreira and Chris Emmery and Travis Wiltshire and Emiel Krahmer},
journal= {arXiv preprint arXiv:2207.06839},
year = {2022}
}
备注
22 pages (excluding bibliography and appendix)