用于车辆路径问题的可泛化模型学习的知识蒸馏方法
机器学习
2023-01-20 v2 人工智能
摘要
近期针对车辆路径问题的神经方法总是在相同实例分布（即均匀分布）上训练和测试深度模型。为应对由此产生的跨分布泛化问题，我们将知识蒸馏引入该领域，并提出一种自适应多分布知识蒸馏（AMDKD）方案，以学习更具泛化能力的深度模型。具体而言，我们的AMDKD利用在示例分布上训练的多个教师模型的各种知识，生成一个轻量但通用的学生模型。同时，我们为AMDKD配备自适应策略，使学生能聚焦于困难分布，从而更有效地吸收难以掌握的知识。大量实验结果表明，与基线神经方法相比，我们的AMDKD在未见过的分布内与分布外实例上均能取得有竞争力的结果，这些实例或为随机合成，或采自基准数据集（即TSPLIB和CVRPLIB）。值得注意的是，我们的AMDKD具有通用性，且推理消耗更少计算资源。
引用
@article{arxiv.2210.07686,
title = {Learning Generalizable Models for Vehicle Routing Problems via Knowledge Distillation},
author = {Jieyi Bi and Yining Ma and Jiahai Wang and Zhiguang Cao and Jinbiao Chen and Yuan Sun and Yeow Meng Chee},
journal= {arXiv preprint arXiv:2210.07686},
year = {2023}
}
备注
Accepted at NeurIPS 2022