SAFE-SVD：面向物理基础模型的灵敏度感知保真性约束奇异分解
机器学习
2026-05-19 v1 人工智能
摘要
我们提出了一种用于压缩物理基础模型（PFMs）的新方法，这是AI for Science领域的新趋势。虽然模型压缩对于减少大型基础模型的内存使用和加速推理至关重要，但在PFMs领域仍未得到充分探索，因而在保持物理保真性方面至关重要。挑战在于物理数据具有函数性质，其中部分导数编码了时空动力学，并对压缩极其敏感。常规压缩方法忽略了这种结构，常导致严重的性能下降或失败。为此，我们引入了一种灵敏度感知的保真性压缩框架，在压缩过程中显式建模输出函数空间中对各层的损失敏感性。这为在保持准确性和物理保真性的同时压缩科学基础模型提供了新途径。实验表明，在多个模型和数据集上，该方法相较于现有方法实现了显著提升，虽在某些情况下压缩比率提升了数个数量级，同时保持了准确性。更广泛地说，这项工作潜在地开启了AI for Science领域高效、可部署且可持续的科学基础模型的新子领域。
引用
@article{arxiv.2605.17985,
title = {SAFE-SVD: Sensitivity-Aware Fidelity-Enforcing SVD for Physics Foundation Models},
author = {Chengjie Hong and Feixiang He and Yiheng Zeng and Lulu Kang and He Wang},
journal= {arXiv preprint arXiv:2605.17985},
year = {2026}
}