PANORAMA：面向专利审查中决策�迹与论证的基准数据集
计算机与社会
2025-10-30 v1 计算与语言
摘要
专利审查是 NLP 文献中长期未解的挑战，即便在大型语言模型（LLMs）的出现后亦然，因为它需要对提交的权利要求是否符合新颖性和非显而易见性标准（即对既定权利的专利）进行大规模且细致的专业判断——即先前技术。以往的 NLP 研究将此挑战视为预测任务（例如预测授予结果），使用高层次的代理指标（如相似性度量或基于历史标签训练的分类器）。然而，这种方法往往忽略了审查员必须进行的逐步评估，尤其是忽略了在专利审查过程中审查员所提供的论证理由（在专利审查文件中提供），这也使得更难衡量当前技术在专利审查过程中的水平。为填补这一空白，我们构建了 PANORAMA，一个包含 8143 份美国专利审查记录的数据集，完整保留了决策�迹，包括原始申请、所有引用文献、非终止驳回（Non-Final Rejections）和批准通知（Notices of Allowance）。此外，PANORAMA 将�迹分解为模拟专利专业人员审查过程的序列基准，允许研究者在每个步骤上检验大型语言模型的能力。我们的发现表明，尽管 LLMs 在检索相关先前技术和指出 pertinent paragraphs 方面相对有效，但在评估专利权利要求的新颖性和非显而易见性方面仍感到困难。我们讨论了这些结果，并主张在专利领域发展 NLP，包括 LLMs，需更深入地理解真实世界的专利审查。我们的数据集已在 https://huggingface.co/datasets/LG-AI-Research/PANORAMA 上公开获取。
引用
@article{arxiv.2510.24774,
title = {PANORAMA: A Dataset and Benchmarks Capturing Decision Trails and Rationales in Patent Examination},
author = {Hyunseung Lim and Sooyohn Nam and Sungmin Na and Ji Yong Cho and June Yong Yang and Hyungyu Shin and Yoonjoo Lee and Juho Kim and Moontae Lee and Hwajung Hong},
journal= {arXiv preprint arXiv:2510.24774},
year = {2025}
}