NeuroComparatives：比较知识的神经-符号蒸馏
计算与语言
2024-04-09 v3
摘要
比较知识（例如，钢比聚苯乙烯泡沫塑料更坚固且更重）是我们世界知识的重要组成部分，但在以往文献中研究不足。在本文中，我们将语言模型知识能力的显著改进收获为一个大规模比较知识库。虽然从 GPT-4 等极大规模模型获取此类比较知识的容易程度远高于 GPT-2 等明显更小更弱的模型，但即便是最强大的模型也难免出错。因此我们提出疑问：不同规模的模型在生成有效且多样的比较知识方面能力如何？我们引入 NeuroComparatives，一种新颖的比较知识蒸馏框架，从 GPT 变体和 LLaMA 等语言模型中过度生成比较知识，随后对生成知识进行严格过滤。我们的框架获取日常物体之间的比较知识，生成多达 880 万条比较、覆盖 174 万实体对的语料——比现有资源大 10 倍、多样性高 30%。此外，人工评估表明 NeuroComparatives 在有效性上优于现有资源（绝对提升高达 32%）。我们获取的 NeuroComparatives 在五个下游任务上带来性能提升。我们发现，对较小模型进行神经-符号操作，为当前主导的通过提示极大规模语言模型进行知识蒸馏的做法提供了互补益处。
引用
@article{arxiv.2305.04978,
title = {NeuroComparatives: Neuro-Symbolic Distillation of Comparative Knowledge},
author = {Phillip Howard and Junlin Wang and Vasudev Lal and Gadi Singer and Yejin Choi and Swabha Swayamdipta},
journal= {arXiv preprint arXiv:2305.04978},
year = {2024}
}
备注
Accepted to NAACL 2024 Findings