基于样本级激活模式的零样态神经网络评估
摘要
零样态代理(也称为训练-free 度量)在诸如神经网络评估场景中广泛采用,例如神经网络搜索(NAS),因为它们无需任何训练。现有的零样态度量存在若干局限,包括与真实性能的相关性较弱以及在不同网络或下游任务上的泛化性能差。例如,大多数度量仅适用于卷积神经网络(CNN)或 Transformer,但两者不可兼通。为缓解这些局限,我们提出了样本级激活模式(Sample-Wise Activation Patterns, SWAP),以及其衍生的 SWAP-Score,这是一种新型且高度有效的零样态度量。SWAP-Score 在两种体系结构家族和多个任务领域中均具有广泛适用性,在大多数任务中 demonstrate 出强大的预测性能。该度量衡量神经网络在小批量样本上的表达性,显示出与神经网络真实性能高度相关。对于 CNN 与 Transformer,SWAP-Score 在计算机视觉和自然语言处理任务上均优于现有零样态度量。例如,在 DARTS CNN 上,CIFAR-10 验证准确率与 SWAP-Score 的斯佩曼相关系数为 0.93,在 FlexiBERT Transformer 的 GLUE 任务上为 0.71。此外,SWAP-Score 无标签依赖,因此可在语言模型预训练阶段应用于估计其在下游任务中的性能。当用于 NAS 时,SWAP-empowered NAS 可仅用约 6 分钟(在 CIFAR-10 上)和 9 分钟(在 ImageNet 上)的 GPU 时间即可实现可竞争的性能。我们的代码已公开于: https://github.com/pym1024/SWAP_Universal
引用
@article{arxiv.2605.07378,
title = {Zero-Shot Neural Network Evaluation with Sample-Wise Activation Patterns},
author = {Yameng Peng and Andy Song and HaythamM. Fayek and Vic Ciesielski and Xiaojun Chang},
journal= {arXiv preprint arXiv:2605.07378},
year = {2026}
}
备注
Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence. This article is a journal extension of arXiv:2403.04161