基于微调 OpenAI GPT-2 的专利权利要求生成
计算与语言
2019-07-04 v1 机器学习
机器学习
摘要
在这项工作中，我们专注于微调 OpenAI GPT-2 预训练模型以生成专利权利要求。GPT-2 已在各种任务上展示了预训练语言模型的惊人效果，尤其是连贯文本生成。专利权利要求语言本身在过去很少被探索，并带来了独特的挑战。我们的动机是自动生成连贯的专利权利要求，以便有朝一日增强发明成为可能。在我们的实现中，我们识别了专利权利要求中一种独特的语言结构，并利用其隐式人工标注。我们通过探测前 100 步并观察每步生成的文本来研究微调过程。基于条件与无条件随机采样，我们分析了所生成专利权利要求的整体质量。我们的贡献包括：(1) 首次由机器生成专利权利要求并首次将 GPT-2 应用于专利权利要求生成，(2) 为定性分析和未来研究提供各种实验结果，(3) 提出一种新的文本生成采样方法，以及 (4) 构建一个电子邮件机器人供未来研究者进一步探索微调后的 GPT-2 模型。
引用
@article{arxiv.1907.02052,
title = {Patent Claim Generation by Fine-Tuning OpenAI GPT-2},
author = {Jieh-Sheng Lee and Jieh Hsiang},
journal= {arXiv preprint arXiv:1907.02052},
year = {2019}
}