神经网络中组合泛化的理论分析：一个充分必要条件
机器学习
2025-05-06 v1 人工智能
摘要
组合泛化是人工智能中的一个关键属性，它使模型能够处理已知组件的新颖组合。虽然大多数深度学习模型缺乏这种能力，但某些模型在特定任务中取得了成功，这表明存在支配性条件。本文推导了神经网络中组合泛化的一个充分必要条件。从概念上讲，它要求：(i) 计算图与真实的组合结构相匹配，以及 (ii) 组件在训练中编码恰好足够的信息。该条件得到了数学证明的支持。这一准则结合了架构设计、正则化和训练数据属性等方面的内容。一个精心设计的最小示例阐释了对该条件的直观理解。我们还讨论了该条件在训练前评估组合泛化能力的潜力。这项工作是对神经网络中组合泛化的一项基础性理论研究。
引用
@article{arxiv.2505.02627,
title = {A Theoretical Analysis of Compositional Generalization in Neural Networks: A Necessary and Sufficient Condition},
author = {Yuanpeng Li},
journal= {arXiv preprint arXiv:2505.02627},
year = {2025}
}