一种用于学习旅行商问题的轻量CNN-Transformer模型
机器学习
2024-03-07 v2 计算几何
摘要
若干研究已尝试使用各种深度学习技术求解旅行商问题（TSP）。其中，基于Transformer的模型即使在大规模TSP上也展现出最先进的性能。然而，它们基于全连接注意力模型，存在计算复杂度高与GPU内存占用大的问题。我们的工作是首个基于CNN嵌入层与部分自注意力、面向TSP的CNN-Transformer模型。相较于标准基于Transformer的模型，我们的CNN-Transformer模型能够利用CNN嵌入层更好地从输入数据中学习空间特征。它还通过所提出的部分自注意力消除了全连接注意力模型中的大量冗余。实验结果表明，所提出的CNN嵌入层与部分自注意力在提升性能与降低计算复杂度方面非常有效。所提模型在真实数据集中展现出最佳性能，并在多方面优于其他现有的最先进（SOTA）基于Transformer的模型。我们的代码公开于 https://github.com/cm8908/CNN_Transformer3。
引用
@article{arxiv.2305.01883,
title = {A Lightweight CNN-Transformer Model for Learning Traveling Salesman Problems},
author = {Minseop Jung and Jaeseung Lee and Jibum Kim},
journal= {arXiv preprint arXiv:2305.01883},
year = {2024}
}