基于专利特定层次注意力网络模型的早期筛选潜在突破技术及其解释性强化
计算与语言
2024-07-25 v1 人工智能
摘要
尽管机器学习方法在早期筛选潜在突破技术方面具有实用性，但其实际应用常受到透明度不足的限制。为此，我们提出了一种可解释的机器学习方法，用于从专利文本预测未来引用次数，采用专利特定层次注意力网络（PatentHAN）模型。这种方法的核心包括：(1) 专利特定预训练语言模型，捕捉专利权利要求中技术词汇的含义；(2) 层次网络结构，实现对权利要求层面的详细分析；(3) 权利要求级自注意力机制，揭示筛选过程中关键权利要求。对 35,376 项制药专利的案例研究表明，我们的方法在确保可解释性的前提下，有效实现了潜在突破技术的早期筛选。此外，我们还使用不同的语言模型和权利要求类型进行额外分析，以检验该方法的鲁棒性。可以预见，所提出的方法将增强专家与机器在识别突破技术方面的协作，为从文本挖掘中提取的技术价值提供新的洞见。
引用
@article{arxiv.2407.16939,
title = {Early screening of potential breakthrough technologies with enhanced interpretability: A patent-specific hierarchical attention network model},
author = {Jaewoong Choi and Janghyeok Yoon and Changyong Lee},
journal= {arXiv preprint arXiv:2407.16939},
year = {2024}
}