通过对称性感知训练目标捕获语言模型中的对称性与反对称性
计算与语言
2025-04-24 v1
摘要
捕获对称（例如国家边界相邻另一个国家）和反对称（例如parent_of）关系对于众多应用至关重要。本文通过引入一个源自维基数据（Wikidata）的新型自然语言推理数据集来评估大型语言模型（LLM），以解决此挑战。我们的发现表明，LLM在该基准测试中的表现相当于随机猜测，这凸显了关系理解的差距。为此，我们通过k近邻（k-nearest neighbors）对编码器进行对比学习重新训练。重新训练后的编码器在匹配调优分类头的性能方面具有相当水平，同时带来额外收益，包括在少样本学习中的更高效率以及对灾难性遗忘（catastrophic forgetting）的改进缓解。
引用
@article{arxiv.2504.16312,
title = {Capturing Symmetry and Antisymmetry in Language Models through Symmetry-Aware Training Objectives},
author = {Zhangdie Yuan and Andreas Vlachos},
journal= {arXiv preprint arXiv:2504.16312},
year = {2025}
}