并非所有神经符号概念生而平等：推理捷径的分析与缓解
机器学习
2023-12-19 v2 机器学习
摘要
神经符号(NeSy)预测模型有望更好地遵循给定约束、实现系统性泛化以及可解释性，因为它们允许通过对从亚符号输入中提取的高层概念进行推理，推断出与某些先验知识一致的标签。最近的研究表明，NeSy预测器受到推理捷径的影响：它们虽能获得高准确率，但借助了具有非预期语义的概念，从而未能实现其承诺的优势。然而，目前缺乏对推理捷径及其潜在缓解策略的系统性刻画。本工作填补了这一空白，将其刻画为学习目标的非预期最优解，并识别出其发生的四个关键条件。基于此，我们推导出若干自然的缓解策略，并从理论和实证两方面分析其有效性。我们的分析表明推理捷径难以应对，这对现有NeSy解决方案的可信性与可解释性提出了质疑。
引用
@article{arxiv.2305.19951,
title = {Not All Neuro-Symbolic Concepts Are Created Equal: Analysis and Mitigation of Reasoning Shortcuts},
author = {Emanuele Marconato and Stefano Teso and Antonio Vergari and Andrea Passerini},
journal= {arXiv preprint arXiv:2305.19951},
year = {2023}
}
备注
37th Conference on Neural Information Processing Systems (NeurIPS 2023)