大语言模型中语言歧义的分析
计算与语言
2024-04-26 v1 人工智能
摘要
语言歧义继续代表自然语言处理（NLP）系统面临的重大挑战，尽管 Transformer 和 BERT 等架构的发展已取得显著进展。鼓励受 ChatGPT 和 Gemini（2023 年，人工智能被称为 Bard）等指令模型成功启发，本研究旨在分析和讨论这些模型中的语言歧义，聚焦三种在巴西葡萄牙语中常见的类型：语义歧义、句法歧义和词汇歧义。我们创建了一个包含 120 句子的语料库，其中既包含歧义句子又包含无歧义句子，用于分类、解释和消除歧义。还探记了模型生成歧义句子的能力，通过为每种歧义类型 soliciting 句子集合。对结果进行了定性分析，借助被认可的语言参考文献，并基于所获取响应准确率进行定量评估。结果表明，即便是最先进的模型如 ChatGPT 和 Gemini，也在其响应中存在错误和缺陷，解释往往不一致。此外，准确率仅为 49.58%，表明需要进行描述性研究以进行监督学习。
引用
@article{arxiv.2404.16653,
title = {An\'alise de ambiguidade lingu\'istica em modelos de linguagem de grande escala (LLMs)},
author = {Lavínia de Carvalho Moraes and Irene Cristina Silvério and Rafael Alexandre Sousa Marques and Bianca de Castro Anaia and Dandara Freitas de Paula and Maria Carolina Schincariol de Faria and Iury Cleveston and Alana de Santana Correia and Raquel Meister Ko Freitag},
journal= {arXiv preprint arXiv:2404.16653},
year = {2024}
}
备注
in Portuguese language, 16 p\'aginas, 5 p\'aginas de ap\^endice e 4 imagens