NovaCOMET：基于符号知识蒸馏的开放常识基础模型
计算与语言
2023-12-12 v1
摘要
我们提出了NovaCOMET，一个开放的常识知识模型，它结合了知识模型和通用任务模型的最佳方面。与以往的知识模型相比，NovaCOMET允许开放格式的关系，从而能够直接应用于推理任务；与Flan-T5等通用任务模型相比，它明确以知识为中心，在常识推理方面实现了更优的性能。NovaCOMET利用不透明专有模型的知识来创建开放的知识流水线。首先，知识被符号化地蒸馏到NovATOMIC中，这是一个公开发布的离散知识图谱，可以进行审计、批评和过滤。接下来，我们通过在NovATOMIC上微调一个开源预训练模型来训练NovaCOMET。NovaCOMET使用开放格式的训练目标，取代了以往知识模型的固定关系集，允许数据中的任意结构作为输入或输出。由此产生的生成模型（可选地结合人工标注）在一系列常识生成任务上匹配或超过了Flan-T5等可比的开放任务模型。NovaCOMET作为当代仅关注指令微调的一个反例，展示了显式建模常识知识的独特优势。
引用
@article{arxiv.2312.05979,
title = {NovaCOMET: Open Commonsense Foundation Models with Symbolic Knowledge Distillation},
author = {Peter West and Ronan Le Bras and Taylor Sorensen and Bill Yuchen Lin and Liwei Jiang and Ximing Lu and Khyathi Chandu and Jack Hessel and Ashutosh Baheti and Chandra Bhagavatula and Yejin Choi},
journal= {arXiv preprint arXiv:2312.05979},
year = {2023}
}