ChatGPT是否为地理编码的变革者——地理编码地址解析技术的基准测试
计算与语言
2023-12-18 v4 机器学习
摘要
GPT模型在包括地名实体识别在内的各种任务中的显著成功，促使我们评估GPT-3模型在地理编码地址解析任务中的表现。为使评估更准确地反映具有不同用户输入质量的真实场景表现，并解决地理编码系统对“金标准”评估数据集的迫切需求，我们引入了一个基于生产环境地理编码系统实际输入日志中人类输入模式挖掘合成的低质量地址描述基准数据集。该数据集具有21种不同的输入错误与变体；包含从美国全部50个州和华盛顿特区街道中唯一选取的超过239,000条地址记录；并由三个子集构成，分别用作训练、验证和测试集。在此基础上，我们训练并衡量GPT-3模型在提取地址组分上的表现，将其与基于Transformer和基于LSTM的模型进行对比。评估结果表明，双向LSTM-CRF模型优于这些基于Transformer的模型和GPT-3模型。基于Transformer的模型展现出与双向LSTM-CRF模型非常相近的结果。GPT-3模型虽表现稍逊，但在少样本示例的地址解析任务中展现出潜力，并通过额外微调具有改进空间。我们开源了本基准的代码与数据，以便研究者将其用于未来的模型开发或扩展至评估类似任务，如文档地理编码。
引用
@article{arxiv.2310.14360,
title = {Is ChatGPT a game changer for geocoding -- a benchmark for geocoding address parsing techniques},
author = {Zhengcong Yin and Diya Li and Daniel W. Goldberg},
journal= {arXiv preprint arXiv:2310.14360},
year = {2023}
}