SOC-ICNN值函数的精确对偶几何
机器学习
2026-05-07 v1 人工智能
最优化与控制
摘要
输入凸神经网络（ICNN）通常以两阶段方式使用：首先训练一个凸网络，然后在下游推理问题中对其输入进行最小化。最近的二阶锥ICNN（SOC-ICNN）用二次和锥模块丰富了基于ReLU的ICNN，并允许精确表示为二阶锥规划（SOCP）的值函数。这种值函数结构使得SOC-ICNN推理能够进行显式的凸分析处理。在本文中，我们从对偶视角研究SOC-ICNN的精确一阶和局部二阶几何。我们表明，支撑斜率、次微分、方向导数和局部Hessian可以直接从最优对偶变量中恢复。这些结果为白盒SOC-ICNN推理提供了几何原语，超越了黑盒自动微分。数值实验验证了精确乘子读出、局部Hessian公式以及在结构退化输入处的集值行为。我们还提供了一个逐步教程，展示读出机制如何实例化一个完整的白盒推理循环。代码可在 https://anonymous.4open.science/r/SOC-ICNN-Theory-BEFC/ 获取。
引用
@article{arxiv.2605.04722,
title = {Exact Dual Geometry of SOC-ICNN Value Functions},
author = {Kang Liu and Jianchen Hu and Wei Peng},
journal= {arXiv preprint arXiv:2605.04722},
year = {2026}
}