用于学习求解组合问题的零训练开销集成策略
人工智能
2021-02-08 v1
摘要
近年来, 利用深度学习处理组合优化(CO)问题的兴趣日益增长。典型的 CO 深度学习方法在模型架构中利用问题结构。然而, 模型选择仍主要基于传统的机器学习设定。由于 CO 问题的离散性, 单一模型不太可能完全学习该问题。我们提出 ZTop (Zero Training Overhead Portfolio, 零训练开销集成策略), 一种简单而有效的用于学习求解组合问题的模型选择与集成机制。ZTop 受算法集成策略(一种流行的 CO 集成策略, 尤其是重启集成策略, 即周期性重启随机化 CO 算法, 实际上以不同启发式探索搜索空间)的启发。我们观察到, 在同一训练轨迹中获得、具有相似验证集最优性能的良训练模型, 在差异很大的验证实例上表现良好。基于该观察, ZTop 集成一组良训练模型, 每个模型提供独特的启发式且零训练开销, 并顺序或并行地应用它们求解测试实例。我们展示了 ZTopping(即对给定深度学习方法使用 ZTop 集成策略)如何在三个典型 CO 领域——最难的唯一解数独实例、具有挑战性的路由问题和图最大割问题, 以及具有大组合标签空间的机器学习任务多标签分类上, 显著提升当前最先进深度学习方法的性能。
引用
@article{arxiv.2102.03002,
title = {Zero Training Overhead Portfolios for Learning to Solve Combinatorial Problems},
author = {Yiwei Bai and Wenting Zhao and Carla P. Gomes},
journal= {arXiv preprint arXiv:2102.03002},
year = {2021}
}