端到端模型中的行为系统性与表征系统性:一份持论见地的综述
机器学习
2025-06-06 v1 人工智能
计算与语言
摘要
系统性是组合性的一个核心方面,作为一种有利于在新情境下强大推理能力的机器学习模型特性,已引发大量研究,提出基准测试以评估系统性推理,以及设计旨在增强其的模型和训练方案。许多工作将此类努力表述为应对福特尔和丰利什因提出的挑战。然而,虽然他们主张表征的系统性,而现有基准测试和模型主要关注行为的系统性。我们强调了这一区别的重要性。进一步地,基于哈德利(1994)的系统性推理分类,我们分析了行为系统性在语言和视觉领域的关键基准测试中被测试的程度。最后,我们指出了在机器学习模型中评估表征系统性的方法,这些方法正式实践于机制可解释性领域。
引用
@article{arxiv.2506.04461,
title = {Behavioural vs. Representational Systematicity in End-to-End Models: An Opinionated Survey},
author = {Ivan Vegner and Sydelle de Souza and Valentin Forch and Martha Lewis and Leonidas A. A. Doumas},
journal= {arXiv preprint arXiv:2506.04461},
year = {2025}
}
备注
To appear at ACL 2025 Main Conference