用于神经语言生成的深度残差输出层

许多任务（包括语言生成）受益于对输出空间结构的学习，尤其在输出标签空间庞大且数据稀疏时。最先进的神经语言模型在其分类器权重中间接捕获了输出空间结构，因为它们缺乏跨输出标签的参数共享。学习共享的输出标签映射有所帮助，但现有方法表达力有限且易于过拟合。本文中，我们探究了更强大的输出标签共享映射的效用，并提出了一种层间带 dropout 的深度残差输出映射，以更好地捕获输出空间结构并避免过拟合。在三个语言生成任务上的评估表明，我们的输出标签映射可匹敌或改进最先进的循环与自注意力架构，并提示若分类器更善于捕获输出空间结构，则未必需要高秩才能更好地建模自然语言。