释放序列到序列模型在序列标注与结构解析中的真正潜力
计算与语言
2023-02-07 v1
摘要
序列到序列（S2S）模型在各种文本生成任务上取得了显著成功。然而，使用S2S模型学习复杂结构仍然具有挑战性，因为通常需要补充外部神经模块和额外词典来预测非文本输出。我们对使用约束解码的S2S建模进行了系统性研究，涉及四个核心任务：词性标注、命名实体识别、成分句法分析和依存句法分析，以开发零额外参数的高效利用方法。特别地，我们设计并评估了3种词汇多样化的线性化模式及相应的约束解码方法。实验表明，尽管词汇化程度更高的模式会产生更长的输出序列，需要更重的训练，但其序列更接近自然语言，使其更易于学习。此外，使用我们约束解码的S2S模型优于其他使用外部资源的S2S方法。我们最好的模型在所有4个任务上的表现优于或可比肩最先进水平，为S2S模型生成非序列结构带来了希望。
引用
@article{arxiv.2302.02275,
title = {Unleashing the True Potential of Sequence-to-Sequence Models for Sequence Tagging and Structure Parsing},
author = {Han He and Jinho D. Choi},
journal= {arXiv preprint arXiv:2302.02275},
year = {2023}
}
备注
Accepted to TACL 2023: Transactions of the Association for Computational Linguistics, post-acceptance final version