基于Transformer的自编码器的有效预训练目标
计算与语言
2022-10-26 v1
摘要
在本文中，我们研究了使用不同预训练目标预训练Transformer编码器时在效率、成本和准确率之间的权衡。为此，我们分析了常见目标的特征并将其组合以创建新的有效预训练方法。具体而言，我们基于直接的统计方法设计了轻量令牌生成器，可替代ELECTRA中计算密集的生成器，从而大幅降低成本。我们的实验还表明：(i) 存在比BERT的MLM更高效的替代方案；(ii) 使用更轻量的生成器高效预训练基于Transformer的模型而不显著损失性能是可行的。
引用
@article{arxiv.2210.13536,
title = {Effective Pre-Training Objectives for Transformer-based Autoencoders},
author = {Luca Di Liello and Matteo Gabburo and Alessandro Moschitti},
journal= {arXiv preprint arXiv:2210.13536},
year = {2022}
}
备注
Accepted at EMNLP 2022 Findings