判别数千个判断：GPT-3 评测冠词+形容词+数词+名词结构
计算与语言
2023-02-07 v2
摘要
句法知识包含对罕见、特殊结构的知识。LLM 必须克服频率偏差才能掌握此类结构。在本研究中，我提示 GPT-3 对英语的冠词+形容词+数词+名词结构（如“a lovely five days”）给出可接受性判断。我使用 CoLA 可接受性判断语料库验证提示，然后聚焦于 AANN 结构。我将 GPT-3 的判断与人工众包判断在句子子集上比较。GPT-3 的判断与人类判断大体相似，且通常与文献中提出的约束一致，但在某些情况下，GPT-3 的判断与人类判断偏离文献且彼此偏离。
引用
@article{arxiv.2301.12564,
title = {A Discerning Several Thousand Judgments: GPT-3 Rates the Article + Adjective + Numeral + Noun Construction},
author = {Kyle Mahowald},
journal= {arXiv preprint arXiv:2301.12564},
year = {2023}
}