中文

AutoLLM-CARD:面向大型语言模型的描述与格局

计算与语言 2024-11-26 v3 数字图书馆

摘要

随着自然语言处理(NLP)领域的快速发展,越来越多的大型语言模型(LLM)涌现出来,用于解决各种各样的 NLP 任务。随着论文的不断发表,研究人员和开发者面临信息过载的挑战。因此,开发能够自动从学术论文中提取并组织有关 LLM 关键信息的系统尤为重要。 documenting LLM 信息的标准格式是 LLM 模型卡(\textbf{LLM-Card})。我们提出了一种从科学出版物中自动生成 LLM 模型卡的方法。我们使用命名实体识别(\textbf{NER})和关系抽取(\textbf{RE})方法自动从论文中提取有关 LLM 的关键信息,帮助研究人员高效获取 LLM 信息。这些特征包括模型 \textit{licence}、模型 \textit{name} 和模型 \textit{application}。通过这些特征,我们可以为每篇论文构建一个模型卡。我们处理了 106 篇学术论文,通过定义三个字典——LLM 的名称、许可证和应用——进行提取。通过字典查找提取了 11051 句话,并通过对最终筛选出的 129 句包含名称与 \textit{licence} 关联的句子以及 106 句包含模型名称与 \textit{application} 关联的句子进行手动审核构建数据集。最终得到的资源对于使用关系知识图构建 LLM 模型卡具有参考价值。我们的代码和发现可贡献于自动 LLM 模型卡生成。在 \textsc{autoLLM-Card} 中,数据和代码将在 \url{https://github.com/shengwei-tian/dependency-parser-visualization} 上公开共享。

关键词

引用

@article{arxiv.2409.17011,
  title  = {AutoLLM-CARD: Towards a Description and Landscape of Large Language Models},
  author = {Shengwei Tian and Lifeng Han and Goran Nenadic},
  journal= {arXiv preprint arXiv:2409.17011},
  year   = {2024}
}

备注

ongoing work, technical report