面向分布外推理的视觉 Transformer 神经网络架构搜索基准与洞见
机器学习
2025-01-08 v1
摘要
虽然 ViT 在机器学习任务中取得了优异成绩，但在实际场景中面临分布外 (OoD) 推理的挑战。如何设计 ViT 架构以提升 OoD 推理能力，无论是手动设计还是自动搜索，都是一个关键研究空白。为此，我们引入 OoD-ViT-NAS，这是第一个面向 ViT 架构搜索专注于 OoD 推理的系统性基准测试。该基准评估了 3000 种不同计算预算的 ViT 架构，在 8 个常见 OoD 数据集上进行测试。通过该基准，我们分析了影响 OoD 推理的关键因素。我们的发现表明：首先，ViT 架构设计对 OoD 推理有显著影响。其次，ID 准确率常是 OoD 准确率的poor指标，这凸显了仅为 ID 性能优化 ViT 架构的风险。我们进行了首个针对 ViT OoD 鲁棒性的 NAS 研究，分析了 9 种训练-free NAS 方法，发现现有训练-free 方法在预测 OoD 准确率方面基本无效，尽管在 ID 准确率方面表现出色。简单代理指标如参数量 (Param) 或浮点运算数 (Flop) 在预测 OoD 准确率方面反而优于复杂的训练-free NAS 方法。最后，我们研究了 ViT 架构属性对 OoD 推理的影响，发现增加嵌入维度通常能提升性能。我们的基准显示，ViT 架构在 OoD 准确率上呈现出广泛的差异，部分 OoD 迁移可实现 11.85% 的提升。这进一步凸显了研究 ViT 架构设计以提升 OoD 推理的重要性。我们认为 OoD-ViT-NAS 将催化进一步的研究，探讨 ViT 设计如何影响 OoD 推理。
引用
@article{arxiv.2501.03782,
title = {Vision Transformer Neural Architecture Search for Out-of-Distribution Generalization: Benchmark and Insights},
author = {Sy-Tuyen Ho and Tuan Van Vo and Somayeh Ebrahimkhani and Ngai-Man Cheung},
journal= {arXiv preprint arXiv:2501.03782},
year = {2025}
}
备注
Accepted in NeurIPS 2024