自动技能分解与专家本体论:使用 LLM 桥接粒度差距
人工智能
2025-10-14 v1
摘要
本文探讨了使用大语言模型(LLM)进行自动技能分解,并提出了一种严格的、基于本体论的评估框架。该框架标准化了从提示生成到规范化再与本体论节点对齐的整个流程。为评估输出,我们引入了两个指标:一种使用基于最优嵌入匹配的语义 F1 分数来衡量内容准确性,另一种则基于层次结构感知的 F1 分数,以衡量结构性正确放置的程度。我们在 ROME-ESCO-DecompSkill 数据集上进行实验,该数据集是从父节点中抽取的精选子集,比较了两种提示策略:零样本和无信息少样本。结果表明,零样本提供了有力的基线,而少样本方法在稳定措辞和粒度方面始终具有优势,并改善了层次结构感知的对齐。进一步的延迟分析显示,示例引导的提示在竞争力方面具有竞争力——有时甚至比无引导的零样本更快,因为生成的输出更符合模式规范。综上所述,框架、基准和指标为开发基于本体论忠实的技能分解系统提供了可复现的基础。
引用
@article{arxiv.2510.11313,
title = {Automated Skill Decomposition Meets Expert Ontologies: Bridging the Granularity Gap with LLMs},
author = {Le Ngoc Luyen and Marie-Hélène Abel},
journal= {arXiv preprint arXiv:2510.11313},
year = {2025}
}