TopoBERT：基于微调 BERT 的即插即用地名识别模块
计算与语言
2023-02-06 v2 人工智能
摘要
从文本中提取精确的地理信息在大量应用中至关重要。例如，在灾害事件期间，一个稳健且无偏的地名提取框架能够提供途径，将相关地点与新闻媒体帖子中讨论的主题联系起来，并从社交媒体中定位人道主义求助请求或损失报告。早期研究利用基于规则、基于地名辞典、深度学习以及混合方法来解决该问题。然而，现有工具的性能不足以支撑如紧急救援等依赖细粒度、精确地理信息的操作。新兴的预训练语言模型能更好地捕捉文本信息的潜在特征（包括地名），为优化地名识别以支撑实际应用提供了有前景的路径。本文提出并微调了 TopoBERT，一种基于一维卷积神经网络（CNN1D）与来自 Transformer 的双向编码器表示（BERT）的地名识别模块。利用三个数据集（CoNLL2003-Train、Wikipedia3000、WNUT2017）来调整超参数、发现最佳训练策略并训练模型。另两个数据集（CoNLL2003-Test 与 Harvey2017）用于评估性能。对三种不同分类器（线性、多层感知机与 CNN1D）进行基准测试以确定最优模型架构。与其他五个基线模型相比，TopoBERT 取得了最先进的性能（f1-score=0.865），并且可应用于多种地名识别任务而无需额外训练。
引用
@article{arxiv.2301.13631,
title = {TopoBERT: Plug and Play Toponym Recognition Module Harnessing Fine-tuned BERT},
author = {Bing Zhou and Lei Zou and Yingjie Hu and Yi Qiang and Daniel Goldberg},
journal= {arXiv preprint arXiv:2301.13631},
year = {2023}
}
备注
8 Pages, 6 figures