Blackbird语言矩阵(BLM):面向神经网络类规则泛化的新任务——动机与形式化定义
计算与语言
2023-06-21 v1
摘要
我们提出并形式化定义了一个用于微调大型语言模型类规则泛化能力的新任务。据推测,当前LLM的缺陷在于缺乏泛化能力。有观点认为,相反,人类更擅长泛化,因为他们倾向于从复杂数据中提取规则。我们试图重现这种基于规则的泛化倾向。例如,在面对分析智力测试(如视觉RAVEN IQ测试)时,人类解题者会识别图像中的相关物体及其相关属性,并基于应用于这些物体和属性的规则进行推理。基于归纳出的规则,他们能够给出测试的解答。我们提出了一项将该IQ测试转化为语言的任务。在本文中,我们给出了该任务的形式化定义及其数据集的生成过程。
关键词
引用
@article{arxiv.2306.11444,
title = {Blackbird language matrices (BLM), a new task for rule-like generalization in neural networks: Motivations and Formal Specifications},
author = {Paola Merlo},
journal= {arXiv preprint arXiv:2306.11444},
year = {2023}
}
备注
7pages, 6 figures. arXiv admin note: text overlap with arXiv:2205.10866