利用领域增强上下文表示的地图搜索拼写错误检测
计算与语言
2021-08-17 v1 机器学习
摘要
构建一个独立的拼写错误检测器并在纠错前提供服务，可为拼写校正器及其他搜索组件带来多重益处，对于最常用基于噪声信道（noisy-channel）的拼写校正系统尤为如此。随着深度学习的快速发展以及以 BERTology 为代表的上下文表示学习的重大进展，构建不依赖与噪声信道架构相关的手工特征的高质量拼写错误检测器变得前所未有的容易。然而，BERTology 模型使用自然语言语料库训练，而地图搜索（Maps Search）具有高度领域特异性，BERTology 能否延续其成功？本文我们设计了从最基础的 LSTM 到单领域增强微调 BERT 共 4 个阶段的拼写错误检测模型。我们发现，在我们的地图搜索场景中，RoBERTa 等其他先进的 BERTology 系列模型未必优于 BERT，而一个经典跨领域微调的完整 BERT 甚至不及一个更小的单领域微调 BERT。我们通过全面的建模实验与分析分享了更多发现，并简要介绍了数据生成算法的突破。
引用
@article{arxiv.2108.06842,
title = {Maps Search Misspelling Detection Leveraging Domain-Augmented Contextual Representations},
author = {Yutong Li},
journal= {arXiv preprint arXiv:2108.06842},
year = {2021}
}