NasHD：基于超维计算的高效 ViT 架构性能排序
计算机视觉与模式识别
2022-09-26 v1 神经与进化计算
摘要
神经架构搜索（NAS）是一种用于深度学习设计自动化的自动架构工程方法，作为手动且易出错的模型开发、选择、评估与性能估计过程的替代方案。然而，NAS 的一个主要障碍是极其苛刻的计算资源需求以及尤其在数据集规模增大时的耗时迭代。本文针对新兴的视觉 Transformer（ViT），提出 NasHD，一种基于超维计算的有监督学习模型，用于在给定架构与配置下对性能排序。不同于其他基于学习的方法，NasHD 得益于 HDC 架构的高并行处理而更快。我们还评估了 NasHD 的两种 HDC 编码方案：基于 Gram 与基于 Record 的性能和效率。在来自不同领域 8 个应用的 VIMER-UFO 基准数据集上，NasHD Record 能在约 1 分钟内对近 10 万个视觉 Transformer 模型性能排序，同时仍取得与复杂模型相当的结果。
引用
@article{arxiv.2209.11356,
title = {NasHD: Efficient ViT Architecture Performance Ranking using Hyperdimensional Computing},
author = {Dongning Ma and Pengfei Zhao and Xun Jiao},
journal= {arXiv preprint arXiv:2209.11356},
year = {2022}
}