概念学习中的摆动-臂动力学与组合泛化
机器学习
2025-11-03 v3 机器学习
摘要
先前的工作表明，文本条件扩散模型能够学习识别和操作基于组合数据生成过程的原始概念，从而实现对全新、在分布外的组合的泛化。除了性能评估，这些研究发展了丰富的学习动力学经验谱，表明模型按顺序泛化，尊重数据生成过程的组合层次结构。此外，概念中心结构显著影响模型学习操控概念的速度。在本文中，我们旨在从理论角度更好地 characterize 这些经验结果。具体而言，我们提出了对先前工作的组合泛化问题的抽象，通过引入结构化恒等映射（SIM）任务，其中模型被训练在具有结构组织的均值混合体上学习恒等映射。我们对在该 SIM 任务上训练的神经网络学习动力学进行数学分析，表明尽管其简单，SIM 的学习动力学仍能捕捉并帮助解释先前工作中识别的组合泛化扩散模型的关键经验观察。我们的理论还提供了若干新见解——例如，我们发现测试损失在训练早期阶段出现非单调学习动力学的新机制。我们通过训练文本条件扩散模型来验证这些新预测，搭建我们的简化框架与复杂生成模型之间的桥梁。总体而言，本工作将 SIM 任务确立为概念学习动力学在现代生成模型中的有意义的理论抽象。
引用
@article{arxiv.2410.08309,
title = {Swing-by Dynamics in Concept Learning and Compositional Generalization},
author = {Yongyi Yang and Core Francisco Park and Ekdeep Singh Lubana and Maya Okawa and Wei Hu and Hidenori Tanaka},
journal= {arXiv preprint arXiv:2410.08309},
year = {2025}
}