线性系统的类内学习：泛化理论及其在算子学习中的应用
机器学习
2025-05-27 v3 数值分析
数值分析
机器学习
摘要
我们研究了使用线性变换器在类内求解线性系统的理论保证。对于域内泛化，我们提供神经尺度律，以训练和推理中使用的任务数量和样本大小来界定泛化误差。对于域外泛化，我们发现，在任务分布变化下的训练变换器行为在训练期间看到的任务分布方面具有关键性。我们引入了一种新颖的任务多样性概念，表明它定义了预训练变换器在任务分布变化下泛化的必要且充分条件。我们还探讨了将线性系统在类内学习应用于偏微分方程（PDE）的算子学习等应用。最后，我们提供一些数值实验来验证所建立的理论。
引用
@article{arxiv.2409.12293,
title = {In-Context Learning of Linear Systems: Generalization Theory and Applications to Operator Learning},
author = {Frank Cole and Yulong Lu and Wuzhe Xu and Tianhao Zhang},
journal= {arXiv preprint arXiv:2409.12293},
year = {2025}
}
备注
Includes new results for in-domain generalization and operator learning, code available at https://github.com/LuGroupUMN/ICL_Linear_Systems