PatentEval：理解专利生成中的错误
计算与语言
2024-06-26 v2 人工智能
摘要
本工作引入了一套专门为评估机器生成专利文本中两种不同任务（从 claims 到 abstract 的生成，以及给定前导 claims 生成后一个 claim）所涉及的错误类型体系。我们还开发了一个名为 PatentEval 的基准，用于系统性地评估语言模型在此上下文中的表现。我们的研究包括对各种模型的人类注释比较分析，这些模型范围从专门为专利领域任务进行训练适配的模型到最新的通用大型语言模型（LLM）。此外，我们探索并评估了一些指标，以近似人类对专利文本的评估，分析了这些指标与专家评估的一致性程度。这些方法为理解当前语言模型在专利文本生成这一专业领域中的能力与局限性提供了宝贵的见解。
引用
@article{arxiv.2406.06589,
title = {PatentEval: Understanding Errors in Patent Generation},
author = {You Zuo and Kim Gerdes and Eric Villemonte de La Clergerie and Benoît Sagot},
journal= {arXiv preprint arXiv:2406.06589},
year = {2024}
}