BEARS 使神经符号模型意识到其推理捷径
机器学习
2024-02-20 v1 人工智能
摘要
符合符号知识（例如编码安全约束）的神经符号（NeSy）预测器可能会受到推理捷径（RSs）的影响：它们通过利用非预期的语义来学习与符号知识一致的概念。RSs 会损害可靠性和泛化能力，正如我们在本文中所展示的，它们与 NeSy 模型对预测概念过度自信有关。不幸的是，唯一可信的缓解策略需要收集昂贵的概念级密集监督。我们并非试图完全避免 RSs，而是提出确保 NeSy 模型意识到其所学概念的语义歧义性，从而使其用户能够识别并质疑低质量的概念。从三个简单的期望出发，我们推导出了 bears（BE Aware of Reasoning Shortcuts），这是一种集成技术，可在不损害预测准确性的情况下校准模型的概念级置信度，从而鼓励 NeSy 架构对受 RSs 影响的概念保持不确定性。实证研究表明，bears 提高了多种最先进 NeSy 模型的 RS 感知能力，并有助于获取用于缓解目的的信息性密集标注。
引用
@article{arxiv.2402.12240,
title = {BEARS Make Neuro-Symbolic Models Aware of their Reasoning Shortcuts},
author = {Emanuele Marconato and Samuele Bortolotti and Emile van Krieken and Antonio Vergari and Andrea Passerini and Stefano Teso},
journal= {arXiv preprint arXiv:2402.12240},
year = {2024}
}