ChatGPT 对马来西亚英语的理解程度如何？一项关于命名实体识别与关系抽取的评估
计算与语言
2024-07-01 v2
摘要
近来，ChatGPT 引起了研究人员和公众的广泛关注。尽管 ChatGPT 在标准英语文本的命名实体识别和关系抽取方面表现令人满意，但其对马来西亚英语是否也能有类似表现尚待观察。马来西亚英语具有独特性，表现出源自本地语境的形态句法与语义适配。在本研究中，我们评估 ChatGPT 从马来西亚英语新闻（MEN）数据集中抽取实体与关系的能力。我们提出一种称为“教育-预测-评估”（educate-predict-evaluate）的三步方法。ChatGPT 的性能通过 F1 分数在 18 种精心设计的独特提示设定下进行评估，以进行全面审视。从我们的评估中发现，ChatGPT 在从马来西亚英语新闻文章中抽取实体方面表现不佳，最高 F1 分数仅为 0.497。进一步分析表明，马来西亚英语中的形态句法适配导致了这一局限。然而有趣的是，这种形态句法适配并未影响 ChatGPT 在关系抽取上的表现。
引用
@article{arxiv.2311.11583,
title = {How well ChatGPT understand Malaysian English? An Evaluation on Named Entity Recognition and Relation Extraction},
author = {Mohan Raj Chanthran and Lay-Ki Soon and Huey Fang Ong and Bhawani Selvaretnam},
journal= {arXiv preprint arXiv:2311.11583},
year = {2024}
}
备注
Accepted in Generation, Evaluation & Metrics (GEM) Workshop at EMNLP 2023