FlowerFormer：使用流感知图 Transformer 赋能神经架构编码
机器学习
2024-03-22 v2 人工智能
摘要
特定神经网络架构的成功与其所处理的数据集和任务密切相关；不存在放之四海而皆准的解决方案。因此，人们付出了大量努力，以便在无需完整训练或评估的情况下，快速准确地估计神经架构在给定任务和数据集上的性能。神经架构编码在此估计中发挥了关键作用，而将架构视为图的基于图的方法已展现出卓越的性能。为了增强神经架构的表示学习，我们引入了 FlowerFormer，这是一种结合了神经架构内部信息流的强大图 Transformer。FlowerFormer 包含两个关键组件： 受信息流启发的双向异步消息传递； 基于流掩码构建的全局注意力。我们广泛的实验证明了 FlowerFormer 相对于现有神经编码方法的优越性，且其有效性不仅限于计算机视觉模型，还扩展至图神经网络和自动语音识别模型。我们的代码可在 http://github.com/y0ngjaenius/CVPR2024_FLOWERFormer 获取。
关键词
引用
@article{arxiv.2403.12821,
title = {FlowerFormer: Empowering Neural Architecture Encoding using a Flow-aware Graph Transformer},
author = {Dongyeong Hwang and Hyunju Kim and Sunwoo Kim and Kijung Shin},
journal= {arXiv preprint arXiv:2403.12821},
year = {2024}
}
备注
CVPR 2024 Camera-Ready