随机加权编码器在摘要任务中的优异表现研究
计算与语言
2020-02-24 v1
摘要
本工作中，我们研究一类通用序列到序列模型中未经训练随机初始化编码器的性能，并将其与完全训练编码器在抽象式摘要任务上的表现进行比较。我们假设输入文本的随机投影具有足够的表征能力来编码句子的层次结构与文档的语义。通过使用训练好的解码器生成抽象式文本摘要，我们经实验证明，带有未经训练随机初始化编码器的架构与等效的带有完全训练编码器的架构相比具有竞争力。我们进一步发现，编码器的容量不仅改善了模型整体的泛化能力，还缩小了未经训练随机初始化与完全训练编码器之间的性能差距。据我们所知，这是首次在抽象式摘要任务上针对带注意力的通用序列到序列模型，评估其训练表征与随机投影表征。
引用
@article{arxiv.2002.09084,
title = {On the impressive performance of randomly weighted encoders in summarization tasks},
author = {Jonathan Pilault and Jaehong Park and Christopher Pal},
journal= {arXiv preprint arXiv:2002.09084},
year = {2020}
}
备注
Accepted to ACL 2019 SRW. First two authors contributed equally