在再生核希尔伯特空间中处理硬仿射半定规划形状约束
机器学习
2022-11-22 v3 机器学习
最优化与控制
摘要
形状约束，如非负性、单调性、凸性或超模性，在机器学习和统计的各种应用中起着关键作用。然而，对于丰富的函数类，以硬方式（例如在区间的所有点上）将此类侧信息纳入预测模型是一个众所周知的难题。我们提出了一个统一且模块化的凸优化框架，依赖于二阶锥（SOC）紧化，以对属于向量值再生核希尔伯特空间（vRKHSs）的模型编码关于函数导数的硬仿射 SDP 约束。所提方法的模块化特性允许同时处理多个形状约束，并将无限多个约束紧化为有限多个。我们证明了所提方案及其自适应变体的收敛性，利用了 vRKHSs 的几何性质。由于紧化基于覆盖的构造，该方法特别适用于输入维度小至中等规模的任务。该方法的效率在形状优化、安全关键控制、机器人和计量经济学背景下得到说明。
引用
@article{arxiv.2101.01519,
title = {Handling Hard Affine SDP Shape Constraints in RKHSs},
author = {Pierre-Cyril Aubin-Frankowski and Zoltan Szabo},
journal= {arXiv preprint arXiv:2101.01519},
year = {2022}
}