神经符号持续学习：知识、推理捷径与概念复练
机器学习
2023-12-20 v2 人工智能
摘要
我们引入神经符号持续学习，其中模型须求解一系列神经符号任务，即须将亚符号输入映射到高层概念，并通过与先验知识一致的推理计算预测。我们的关键观察是，神经符号任务虽不同，却常共享语义随时间保持稳定的概念。传统方法存在不足：现有持续策略完全忽略知识，而常规神经符号架构遭受灾难性遗忘。我们表明，通过结合神经符号架构与持续策略来利用先验知识确实有助于避免灾难性遗忘，但这样做也会产生受推理捷径影响的模型。这些捷径破坏所习得概念的语义，即便事先提供了详尽先验知识且推理是精确的，并进而破坏持续性能。为克服这些问题，我们引入COOL，一种为神经符号持续问题定制的概念级持续学习策略，其获取高质量概念并随时间记住它们。我们在三个新基准上的实验凸显了COOL如何在其他策略失败的神符号持续学习任务中保持高水平性能。
引用
@article{arxiv.2302.01242,
title = {Neuro-Symbolic Continual Learning: Knowledge, Reasoning Shortcuts and Concept Rehearsal},
author = {Emanuele Marconato and Gianpaolo Bontempo and Elisa Ficarra and Simone Calderara and Andrea Passerini and Stefano Teso},
journal= {arXiv preprint arXiv:2302.01242},
year = {2023}
}
备注
40th International Conference on Machine Learning (ICML 2023)