组合泛化的通用理论
机器学习
2024-05-21 v1
摘要
组合泛化 (CG) 体现了对熟悉概念新组合的理解能力，代表了人类智力发展中的重要认知跃迁。尽管其关键重要性不言而喻，但深度神经网络 (DNN) 在解决组合泛化问题方面面临挑战，因而引起了广泛关注。然而，现有的理论常常依赖于特定任务的假设，限制了对 CG 全面理解的能力。本研究旨在从任务中立的角度探索组合泛化，提供一种与任务特定分析相互补充的视角。主要挑战在于如何定义 CG而不过度限制其范围，这一目标通过识别其基本特征并以此为基础实现。基于此定义，我们致力于回答问题：“CG 的终极解决方案是什么样子的？”通过以下理论发现：1) 首个在 CG 中的无免费定理，表明不存在通用解；2) 适用于任何 CG 问题的新型泛化界限，确定有效 CG 解决方案的条件；3) 引入生成效应以增强对 CG 问题及其解决方案的理解。本文的意义在于为 CG 问题提供通用理论，当与先前在特定任务情境下出现的定理结合时，可导致对 CG 的全面理解。
引用
@article{arxiv.2405.11743,
title = {A General Theory for Compositional Generalization},
author = {Jingwen Fu and Zhizheng Zhang and Yan Lu and Nanning Zheng},
journal= {arXiv preprint arXiv:2405.11743},
year = {2024}
}