用于学习分支的回望机制
机器学习
2023-01-02 v2 最优化与控制
机器学习
摘要
表达力强且计算代价低的二部图神经网络（GNN）已被证明是基于深度学习的混合整数线性规划（MILP）求解器的重要组件。近期工作展示了此类 GNN 在替代分支定界（B&B）求解器中分支（变量选择）启发式方面的有效性。这些 GNN 在离线状态下、基于一组 MILP 集合进行训练，以模仿一种性能优异但计算昂贵的分支启发式——强分支。鉴于 B&B 产生一棵子 MILP 树，我们探究（a）目标启发式在 B&B 树相邻节点间是否表现出强依赖关系，以及（b）若是，我们能否将其纳入训练过程。具体而言，我们发现对于强分支启发式，子节点的最佳选择常常是父节点的次佳选择。我们称之为“回望”现象。令人惊讶的是，Gasse 等人（2019）的典型分支 GNN 常错过这一简单“答案”。为通过在该 GNN 中融入回望现象来更紧密地模仿目标行为，我们提出两种方法：（a）标准交叉熵损失函数的目标平滑，以及（b）添加父节点即目标（PAT）回望正则化项。最后，我们提出一种模型选择框架，以将求解时间等难以形式化的目标纳入最终模型。通过在标准基准实例上的大量实验，我们表明所提方案使 B&B 树规模减小至多 22%，求解时间提升至多 15%。
引用
@article{arxiv.2206.14987,
title = {Lookback for Learning to Branch},
author = {Prateek Gupta and Elias B. Khalil and Didier Chetélat and Maxime Gasse and Yoshua Bengio and Andrea Lodi and M. Pawan Kumar},
journal= {arXiv preprint arXiv:2206.14987},
year = {2023}
}
备注
Published in Transactions on Machine Learning Research (TMLR)