概念质量与推理捷径的神经符号基准套件
机器学习
2024-10-30 v2 人工智能
摘要
强大的神经分类器的出现增加了关注同时需要学习与推理的问题的兴趣。这些问题对于理解模型的可信度、泛化、可解释性以及遵守安全和结构约束等重要属性至关重要。然而，近期研究发现，需要在背景知识上进行学习与推理的任务常常受到推理捷径（RSs）的影响：预测器可以无需正确地将概念关联到高维数据中，就能解决下游推理任务。为此，我们引入 rsbench，一个全面的基准套件，旨在系统评估 RSs 对模型的影响，提供受控任务以便于研究。此外，rsbench 实现了用于评估概念质量的常见指标，并引入了新颖的形式化验证程序来评估学习任务中 RSs 的存在。通过 rsbench，我们表明在纯神经模型和神经符号模型中获取高质量概念是一个尚未解决的问题。rsbench 可在 https://unitn-sml.github.io/rsbench 上获取。
引用
@article{arxiv.2406.10368,
title = {A Neuro-Symbolic Benchmark Suite for Concept Quality and Reasoning Shortcuts},
author = {Samuele Bortolotti and Emanuele Marconato and Tommaso Carraro and Paolo Morettin and Emile van Krieken and Antonio Vergari and Stefano Teso and Andrea Passerini},
journal= {arXiv preprint arXiv:2406.10368},
year = {2024}
}