PATENTWRITER：面向专利撰写的 LLM 基准测试研究
计算与语言
2025-07-31 v1 机器学习
摘要
大型语言模型 (LLM) 已在多个重要领域发挥变革性作用。本文旨在利用 LLM 解决专利 filing 过程中繁琐的流程，实现专利撰写的范式转变。本工作提出 PATENTWRITER，首个用于评估 LLM 在专利摘要生成方面性能的统一基准框架。给定专利的第一项权利要求，我们在统一的设置下评估六个领先的 LLM——包括 GPT-4 和 LLaMA-3——通过零样本、few-shot 和 chain-of-thought 提示策略生成专利摘要。我们的基准 PATENTWRITER 超越表面级评估：我们系统性地使用综合性指标体系评估输出质量——包括标准 NLP 测度(如 BLEU、ROUGE、BERTScore)、三类输入扰动下的鲁棒性，以及两项下游专利分类和检索任务的适用性。我们还进行风格分析，以评估长度、可读性和语气。实验结果表明，现代 LLM 能够生成高保真且风格恰当的专利摘要，常常超越领域特定的基线。我们的代码和数据集已开源，以支持可重复性和后续研究。
引用
@article{arxiv.2507.22387,
title = {PATENTWRITER: A Benchmarking Study for Patent Drafting with LLMs},
author = {Homaira Huda Shomee and Suman Kalyan Maity and Sourav Medya},
journal= {arXiv preprint arXiv:2507.22387},
year = {2025}
}