并非所有 NVFP4 QAT 配方都等价：架构与规模如何塑造异常分段模型质量
计算机视觉与模式识别
2026-05-28 v1 人工智能
摘要
实时异常分段需要同时实现高召回率和高效低精度推理。我们研究了模型架构、模型规模与 FP4 量化感知训练 (QAT) 配方之间的三者交互作用，针对召回率关键的脑瘤分段任务进行评估，统一评估协议下测试多个架构、规模和 QAT 配方。我们发现，架构选择对量化鲁棒性影响最大，在注意力机制架构下对配方选择表现出显著鲁棒性，而 CNN 在大规模下则会因梯度量化配方而性能下降。在低容量时，FP4 可离散化 softmax 注意力，但高级 QAT 配方可防止这种崩溃。在大规模时，高级配方可缓解梯度量化噪声对 CNN 质量的降低。五折患者水平交叉验证确认这些发现对数据划分具有鲁棒性。我们的结果表明，Swin Transformer 在所有规模下都对 QAT 配方选择具有鲁棒性，因而是 FP4 量化异常分段模型的推荐架构。
引用
@article{arxiv.2605.27616,
title = {Not All NVFP4 QAT Recipes Are Equal: How Architecture and Scale Shape Model Quality for Anomaly Segmentation},
author = {Zijian Du and Oleg Rybakov},
journal= {arXiv preprint arXiv:2605.27616},
year = {2026}
}