基于Transformer架构的神经网络架构搜索方法
计算与语言
2025-11-03 v1 人工智能
机器学习
神经与进化计算
摘要
本文提出了一种基于Transformer架构的神经网络架构搜索方法，搜索不同编码器和解码器组合的交叉多头注意力计算方式。为了寻找具有更好翻译结果的神经网络结构，我们除了BLEU分数外，还考虑囊惑度作为算法的辅助评估指标，并通过多目标遗传算法不断改进种群中每个神经网络。实验结果表明，本算法搜索得到的神经网络结构均优于所有基线模型，引入辅助评估指标相较于仅考虑BLEU分数作为评估指标，能够找到更好的模型。
引用
@article{arxiv.2505.01314,
title = {A Transformer-based Neural Architecture Search Method},
author = {Shang Wang and Huanrong Tang and Jianquan Ouyang},
journal= {arXiv preprint arXiv:2505.01314},
year = {2025}
}
备注
GECCO 2023