测量中究竟包含什么？在 SemEval 2021 任务 8（MeasEval）上使用 GPT-3
计算与语言
2021-06-29 v1
摘要
2020 年夏，OpenAI 发布了其自回归语言模型 GPT-3，引发广泛关注。尽管该模型在多个领域的任务上展现出潜力，但结果究竟是精心挑选的还是未加修饰的输出，往往并不清晰。我们特别感兴趣于 GPT-3 能为 SemEval 2021 MeasEval 任务（识别科学文献中的测量及其关联属性）带来何种益处。我们此前已尝试以多轮问答作为该任务的解决方案。我们想看看能否利用 GPT-3 的少样本学习能力，更轻松地开发出性能优于既往工作的方案。遗憾的是，我们未能在此努力中取得成功。本文讨论了我们所采用的方法、遇到的挑战以及观察到的结果。我们遇到的部分问题纯粹源于当前技术水平。例如，提示与回答的长度限制约束了可提供的训练信号量。其他问题则更为根本。我们未知有擅长保留事实信息的生成模型。此外，提示变更的影响不可预测，使得性能难以可靠提升。
引用
@article{arxiv.2106.14720,
title = {What's in a Measurement? Using GPT-3 on SemEval 2021 Task 8 -- MeasEval},
author = {Curt Kohler and Ron Daniel},
journal= {arXiv preprint arXiv:2106.14720},
year = {2021}
}