复值神经网络何时有用?表示、几何与优化的研究
机器学习
2026-05-28 v1
摘要
复值神经网络(CVNN)通常受到那些信息自然编码在幅度和相位中的领域的驱动。然而,仅凭复值输入并不能决定复数运算何时能改善学习:标签信号可能位于幅度、相位、它们的耦合,或者一种实值模型在合适的坐标下也能表示的对称性中。我们通过一种以表示优先的评估方法来研究这个问题,将 CVNN 与笛卡尔实值、极坐标、仅相位、仅幅度、参数匹配的实值以及 FLOP 匹配的实值基线进行比较。在合成射频任务中,复数表示是有用的,但并非普遍优越。仅 PSK 任务有利于相位感知和复值模型,仅 QAM 任务有利于基于幅度的模型,混合 PSK+QAM 仅带来微小的复值优势,而未见过的载波相位旋转会破坏依赖坐标的模型(若无数据增强)。在射频领域之外也出现了类似的模式:在量子波函数预测中,动量对 不可见,但可从相位恢复;而 EEG 解析信号实验表明,相位锁定、幅度爆发和相位-幅度耦合各自偏好不同的坐标视角。我们还识别了 RadioML 2018.01A 上的一个基准测试伪影。在匹配共享试验选择下,一个 CReLU 复数模型超过最佳实值基线 22.94 个百分点;在相同数据和 16 次试验搜索空间下进行独立按族调参后,差距缩小到 2.46 个百分点。梯度分析将膨胀的差距追溯到实值基线在高学习率下的第一步不稳定性,而复数参数耦合则更鲁棒地分布了损失信号。一个学习率 × 激活函数的析因实验证实,失败主要是由超参数驱动的。总体而言,CVNN 最好被视为结构化的归纳偏置,其增益取决于表示、对称性和优化,而非普遍优越的架构。
引用
@article{arxiv.2605.27673,
title = {When do complex-valued neural networks help? A study of representation, geometry, and optimization},
author = {Ashutosh Kumar},
journal= {arXiv preprint arXiv:2605.27673},
year = {2026}
}