利用大语言模型提取数学概念
计算与语言
2023-09-06 v1
摘要
我们利用 ChatGPT 等生成式大语言模型(LLMs)从数学文本中提取数学概念，为自动术语抽取(ATE)与数学文本处理领域以及大语言模型本身的研究做出贡献。我们的工作建立在他人基础之上，旨在使用约 2020 年在线期刊《Theory and Applications of Categories》快照中的 755 篇摘要作为语料库，在单一数学领域（范畴论）中实现术语（关键词）的自动抽取。我们的研究与以往工作的不同之处在于：(1) 更透彻地分析数学术语抽取本身为何是一个困难问题；(2) 密切关注标注者间分歧；(3) 提供一套人与机器标注者均可用于规范抽取过程的指南；(4) 引入一种辅助人类进行 ATE 的新标注工具，适用于任何数学领域甚至数学之外；(5) 在抽取过程中使用面向 ChatGPT 的提示，并提出此类提示的最佳实践；(6) 提出 ChatGPT 能否作为与人类专家同等水平的标注者这一问题。我们的总体结论是，数学 ATE 是一个有趣的领域，可受益于 LLMs 的参与，但就目前而言 LLMs 尚无法在该任务上超越人类表现。
引用
@article{arxiv.2309.00642,
title = {Extracting Mathematical Concepts with Large Language Models},
author = {Valeria de Paiva and Qiyue Gao and Pavel Kovalev and Lawrence S. Moss},
journal= {arXiv preprint arXiv:2309.00642},
year = {2023}
}
备注
13 pages, 4 figures, presented to the 14th MathUI Workshop 2023