用于课程框架中良构查询识别的句法感知 BERT
计算与语言
2022-08-23 v1
摘要
良构查询被定义为以询问方式表述、且具有正确疑问词、拼写和语法的查询。尽管识别良构查询是一项重要任务，但极少有工作尝试解决它。在本文中，我们提出基于 Transformer 的语言模型——Bidirectional Encoder Representations from Transformers (BERT) 来完成该任务。我们进一步受早期工作启发，将词性信息注入 BERT。此外，我们还在多种课程学习设置下训练模型以提升性能。在该任务上的课程学习使用了 Baby Steps 和 One Pass 技术进行实验。所提出的架构在该任务上表现极为出色。最佳方法达到了 83.93% 的准确率，优于先前 75.0% 的 state-of-the-art，并接近约 88.4% 的人类上限。
引用
@article{arxiv.2208.09912,
title = {A Syntax Aware BERT for Identifying Well-Formed Queries in a Curriculum Framework},
author = {Avinash Madasu and Anvesh Rao Vijjini},
journal= {arXiv preprint arXiv:2208.09912},
year = {2022}
}
备注
ICPR 2022