FastFusionNet: DAWNBench SQuAD上的新最优性能模型
计算与语言
2019-03-05 v2
摘要
在本技术报告中,我们介绍FastFusionNet,即FusionNet [12]的高效变体。FusionNet是一种高性能阅读理解架构,其设计主要追求最大检索准确率,而对计算需求考虑较少。对于FastFusionNet,我们移除了昂贵的CoVe层 [21],并用高效得多的SRU层 [19]替代BiLSTM。所得架构在DAWNBench [5]上取得了最优(state-of-the-art)结果,同时在SQuAD [25]上实现了迄今最低的训练与推理时间。代码见 https://github.com/felixgwu/FastFusionNet。
引用
@article{arxiv.1902.11291,
title = {FastFusionNet: New State-of-the-Art for DAWNBench SQuAD},
author = {Felix Wu and Boyi Li and Lequn Wang and Ni Lao and John Blitzer and Kilian Q. Weinberger},
journal= {arXiv preprint arXiv:1902.11291},
year = {2019}
}
备注
A Technical Report