BERTGEN：通过 BERT 进行多任务生成
计算与语言
2021-06-08 v1
摘要
我们提出 BERTGEN，一种新颖的生成式仅解码器模型，它通过分别融合多模态与多语言预训练模型 VL-BERT 和 M-BERT 来扩展 BERT。BERTGEN 以自回归方式在多任务设定下训练用于语言生成任务，即图像描述、机器翻译和多模态机器翻译。通过一套综合评估，我们表明 BERTGEN 在所探索的任务上优于许多强基线。我们还展示了 BERTGEN 的零样本语言生成能力，其表现出与有监督对应方法相当的竞争力。最后，我们进行消融研究，表明 BERTGEN 从多任务中显著受益，并有效地从预训练模型迁移相关归纳偏置。
引用
@article{arxiv.2106.03484,
title = {BERTGEN: Multi-task Generation through BERT},
author = {Faidon Mitzalis and Ozan Caglayan and Pranava Madhyastha and Lucia Specia},
journal= {arXiv preprint arXiv:2106.03484},
year = {2021}
}
备注
Accepted to ACL 2021 Main Conference