NOVA：通过对 Vandermonde 算术的数值优化发现良好条件的 Winograd 变换
机器学习
2025-12-23 v1 计算机视觉与模式识别
摘要
Winograd 卷积是高效推理的标准算法，可将 3x3 核的算术复杂度降低 2.25 倍。然而，在现代低精度计算时代，其面临一个关键障碍：数值不稳定。随着砖块规模扩大以最大化效率（如 F(6,3)、F(8,3)），标准整数基于变换的条件数急剧上升，F(8,3) 可达 kappa = 2 x 10^5，在 FP16 或 Int8 中无法使用。我们引入 NOVA(numerical optimization of Vandermonde arithmetic)，一个破译数十年整数插值惯例的发现框架。将 Winograd 点选择视为连续优化问题，NOVA 通过 Evolution Strategy 在 R^n-1 流形上搜索，随后将候选点snap到简单有理数，并通过符号验证确保正确性。这一过程揭示了一片隐藏的稳定、分数配置landscape，如 {+-5/6, +-7/6, +-3/5}，这些配置违反了传统词汇约束。其影响是变革性的：NOVA 在 1D 中使 F(8,3) 的条件数改善 415 倍，这在 2D 卷积中将提升 172,484 倍。在真实世界的 FP16 ImageNet 推理中，标准变换会退化为随机 guessing（例如 VGG16 上仅 4.7% 准确率），而 NOVA 的点则恢复了完整准确率（75% 提升至 78%），在无需重新训练、校准或学习参数的情况下恢复超过 70 个百分点。这些发现的变换可作为即插即用替换品，有效地为下一代硬件解锁了大砖块 Winograd 卷积的效率潜力。
引用
@article{arxiv.2512.18453,
title = {NOVA: Discovering Well-Conditioned Winograd Transforms through Numerical Optimization of Vandermonde Arithmetic},
author = {Jayant Lohia},
journal= {arXiv preprint arXiv:2512.18453},
year = {2025}
}