先预测后校准:鲁棒上下文线性规划的新视角
最优化与控制
2024-05-13 v4
摘要
上下文优化,亦称先预测后优化或处方分析,考虑在存在协变量(上下文或侧信息)情况下的优化问题。目标是从训练数据学习一个预测模型,由协变量预测目标函数,随后在测试阶段利用协变量但无目标函数观测求解该优化问题。本文考虑该问题的风险敏感版本,并提出一种称为先预测后校准的通用算法设计范式。其思想是首先开发一个不关心下游风险轮廓或鲁棒性保证的预测模型,然后利用校准(或重新校准)方法量化预测的不确定性。现有方法要么受限于预测模型的受限选择,要么依赖于底层数据的强假设,我们表明预测模型与校准/不确定性量化的解耦具有若干优势。首先,它对预测模型无任何限制,从而充分释放现成机器学习的潜力。其次,通过数据分割思想,风险与鲁棒性保证的推导可独立于预测模型的选择。第三,我们的先预测后校准范式适用于(风险敏感)鲁棒与(风险中性)分布鲁棒优化(DRO)两类形式。理论上,它给出了上下文 LP 问题的新泛化界,并阐明了已有的上下文 LP 的 DRO 结果。数值实验进一步印证了先预测后校准范式的优势:预测模型或校准模型的任一改进都将带来更优的最终性能。
引用
@article{arxiv.2305.15686,
title = {Predict-then-Calibrate: A New Perspective of Robust Contextual LP},
author = {Chunlin Sun and Linyu Liu and Xiaocheng Li},
journal= {arXiv preprint arXiv:2305.15686},
year = {2024}
}
备注
30 pages, 8 figures