面向 AMR 解析的最大贝叶斯 Smatch 集成蒸馏
计算与语言
2022-05-09 v2 人工智能
摘要
由于架构改进和迁移学习等多种因素的共同作用，AMR 解析性能在过去三年中得到了前所未有的提升。自学习技术也在推动性能前进方面发挥了作用。然而，对于大多数近期高性能解析器，自学习和银数据增强的效果似乎正在减弱。在本文中，我们提出通过结合基于 Smatch 的集成技术与集成蒸馏来克服银数据收益递减的问题。在广泛的实验设置中，我们将单模型英语解析器性能推至新的最先进水平，即 85.9（AMR2.0）和 84.3（AMR3.0），并重新获得了银数据增强带来的显著收益。我们还在中国语、德语、意大利语和西班牙语的跨语言 AMR 解析上达到了新的最先进水平。最后，我们探讨了所提技术对领域适应的影响，并表明其在 QALD-9 上可产生媲美人工标注数据的收益，并在 BioAMR 上达到新的最先进水平。
引用
@article{arxiv.2112.07790,
title = {Maximum Bayes Smatch Ensemble Distillation for AMR Parsing},
author = {Young-Suk Lee and Ramon Fernandez Astudillo and Thanh Lam Hoang and Tahira Naseem and Radu Florian and Salim Roukos},
journal= {arXiv preprint arXiv:2112.07790},
year = {2022}
}