重访指针网络类架构以高效改进下一词分布、摘要事实性与更多应用
计算与语言
2023-05-23 v1
摘要
被大多数语言模型（LM）采用的输出softmax层，是否始终是计算下一词概率的最佳方式？鉴于现代基于transformer的LM中存在如此多的注意力层，指针网络在当今是否冗余？本研究发现这两个问题的答案均是否定的。这是因为softmax瓶颈有时会阻碍LM预测期望的分布，而指针网络可被用于高效地打破该瓶颈。基于该发现，我们通过简化指针网络并加速逐词重排序器，提出了若干softmax替代方案。在GPT-2中，我们的方案显著优于最先进的softmax替代方法mixture of softmax且更高效。在摘要实验中，在不显著降低训练/测试速度的情况下，我们基于T5-Small的最佳方法在CNN/DM和XSUM数据集上将factCC分数提高了2分，并在BookSum段落级数据集上将MAUVE分数提高了30%。
引用
@article{arxiv.2305.12289,
title = {Revisiting the Architectures like Pointer Networks to Efficiently Improve the Next Word Distribution, Summarization Factuality, and Beyond},
author = {Haw-Shiuan Chang and Zonghai Yao and Alolika Gon and Hong Yu and Andrew McCallum},
journal= {arXiv preprint arXiv:2305.12289},
year = {2023}
}
备注
ACL Findings 2023