面向问答的鲁棒可扩展可微分神经计算机
计算与语言
2018-07-10 v1 机器学习
摘要
深度学习模型通常不易适应新任务，且需要针对任务的调整。可微分神经计算机（DNC）作为一种记忆增强神经网络，被设计为可用于广泛任务的通用问题求解器。但实际应用中，该模型难以应用于新任务。我们分析 DNC 并识别其在问答应用中的可能改进，由此催生了更鲁棒且可扩展的 DNC（rsDNC）。其客观前提是在保持该模型通用特性的同时，使其应用更可靠并加快所需训练时间。rsDNC 的特点在于更鲁棒的训练、精简的记忆单元与双向架构。我们不仅在 bAbI 任务上取得了新的 SOTA 性能，还将不同初始化间的性能方差降至最小。此外，我们展示了 rsDNC 在无需适配的情况下，于 CNN RC 任务上以尚可的结果简化了对新任务的适用性。
引用
@article{arxiv.1807.02658,
title = {Robust and Scalable Differentiable Neural Computer for Question Answering},
author = {Jörg Franke and Jan Niehues and Alex Waibel},
journal= {arXiv preprint arXiv:1807.02658},
year = {2018}
}
备注
Accepted at Workshop on Machine Reading for Question Answering (MRQA), ACL 2018. 14 pages, 5 figures