神经网络近似中的客观值变化与基于形状的加速优化
机器学习
2025-08-29 v1 人工智能
数值分析
数值分析
最优化与控制
摘要
本文提出了一种新的目标函数 的度量标准，我们称之为 VC (value change)，用于衡量在进行神经网络近似任务时的难易程度和近似影响，并在数值上支持对神经网络近似的局部性能和行为进行特征化。神经网络常常面临不可预测的局部性能问题，这可能阻碍其在关键应用中的可靠性。VC 通过提供网络行为局部值变化的可量化度量，为实现神经网络近似的稳定性和性能提供了洞见。我们研究了 VC 的一些基本理论属性，并在神经网络近似中识别出两种有趣的现象：VC 趋势和少数派趋势。这些趋势分别描述了点误差如何随 VC 分布在近似过程中演变。此外，我们提出了一种基于 VC 的新度量方法，从变动视角衡量两个函数之间的距离。基于此度量，我们进一步提出了一种新的预处理框架用于神经网络近似。包括真实世界实验和与偏微分方程相关的科学问题的数值结果支持我们的发现和预处理加速方法。
引用
@article{arxiv.2508.20290,
title = {Objective Value Change and Shape-Based Accelerated Optimization for the Neural Network Approximation},
author = {Pengcheng Xie and Zihao Zhou and Zijian Zhou},
journal= {arXiv preprint arXiv:2508.20290},
year = {2025}
}
备注
27 pages