基于评分的生成模型各向异性
机器学习
2025-10-28 v1 机器学习
摘要
我们探讨了网络架构在现代评分生成模型中塑造归纳偏置的作用。为此，我们引入了 Score Anisotropy Directions (SADs)，这些架构依赖的方向揭示了不同网络优先捕获数据结构的方式。我们的分析表明，SADs 形成与架构输出几何对齐的自适应基，为在训练前预测评分模型的泛化能力提供了原则方法。通过合成数据和标准图像基准，我们展示了 SADs 可靠地捕获细粒度模型行为并与下游性能（如 Wasserstein 指标）相关联。我们的工作为解释和预测生成模型的方向性偏置提供了新的视角。
引用
@article{arxiv.2510.22899,
title = {On the Anisotropy of Score-Based Generative Models},
author = {Andreas Floros and Seyed-Mohsen Moosavi-Dezfooli and Pier Luigi Dragotti},
journal= {arXiv preprint arXiv:2510.22899},
year = {2025}
}