轴向神经网络：用于无维度限制的基础模型
机器学习
2025-10-27 v2 人工智能
摘要
基础模型的兴起显著推动了通用学习的进展，使其在零样本推理和上下文学习方面展现出卓越能力。然而，在物理数据（包括偏微分方程求解）上训练此类模型面临独特挑战，因为不同系统的维度存在差异。传统方法要么固定最大维度，要么为不同维度采用独立编码器，从而导致效率低下。为此，我们提出一种无维度限制的神经网络架构——轴向神经网络（Axial Neural Network, XNN），灵感来源于参数共享结构（如 Deep Sets 与图神经网络）。XNN 在保持计算效率的同时实现跨维度的泛化。我们将现有的偏微分方程基础模型转换为轴向神经网络，并在三种训练场景下进行评估：从头训练、在多个偏微分方程上预训练以及在单个偏微分方程上微调。我们的实验表明，XNN 在与原始模型相当的表现下，展现出对未见维度的更好泛化能力，这凸显了多维预训练对基础模型的重要性。
引用
@article{arxiv.2510.13665,
title = {Axial Neural Networks for Dimension-Free Foundation Models},
author = {Hyunsu Kim and Jonggeon Park and Joan Bruna and Hongseok Yang and Juho Lee},
journal= {arXiv preprint arXiv:2510.13665},
year = {2025}
}