比例类比解答：知识增强提示下的大语言模型能力探索
计算与语言
2024-12-20 v2 人工智能
摘要
类比是认知的基本能力。由四个术语组成的比例类比常用于评估语言和认知能力。例如，完成类似“氧气是气体，如 <blank> 是 <blank>”的类比，需要识别前两个术语之间（“氧气”和“气体”）的语义关系（如“类型”），并找到第二个术语对（如“铝”和“金属”）共享相同关系。在本 work 中，我们引入了一个包含15K个多选问答（MCQA）数据集，用于比例类比完成，并评估了当代大语言模型（LLM）在各种知识增强提示设置下的性能。具体而言，我们通过三种类型的知识增强提示：样例、结构化和针对性。我们的结果显示，尽管有大量训练数据，解决比例类比仍然具有挑战性，最佳模型的准确率仅为55%。值得注意的是，我们发现提供针对性知识比提供样例或结构化知识集合更有助于模型完成比例类比。我们的代码和数据可在 https://github.com/Thiliniiw/KnowledgePrompts/ 获取。
引用
@article{arxiv.2412.00869,
title = {KnowledgePrompts: Exploring the Abilities of Large Language Models to Solve Proportional Analogies via Knowledge-Enhanced Prompting},
author = {Thilini Wijesiriwardene and Ruwan Wickramarachchi and Sreeram Vennam and Vinija Jain and Aman Chadha and Amitava Das and Ponnurangam Kumaraguru and Amit Sheth},
journal= {arXiv preprint arXiv:2412.00869},
year = {2024}
}
备注
Accepted at COLING 2025