洗牌回归的相变现象
机器学习
2023-11-01 v1 机器学习
摘要
我们研究洗牌（置换）回归问题中固有的相变现象，该问题在数据库、隐私、数据分析等方面有众多应用。本研究中，我们旨在利用消息传递（MP）技术精确确定相变点的位置。在分析中，我们首先将置换恢复问题转化为概率图模型。然后利用根植于消息传递（MP）算法的分析工具，推导出一个追踪MP算法收敛性的方程。通过将此方程与分支随机游走过程相联系，我们能够刻画信噪比（SNR）对置换恢复的影响。根据信号是否给定，我们分别研究先知情形与非先知情形。识别相变区间的瓶颈在于推导相应临界点的闭式公式，但仅在极少数场景下能获得此类精确表达式。为应对这一技术挑战，本研究提出高斯近似方法，使我们能在几乎所有场景下获得闭式公式。在先知情形下，我们的方法能较准确预测相变SNR。在非先知情形下，我们的算法能预测允许置换的最大行数并揭示其对样本数量的依赖关系。
引用
@article{arxiv.2310.20438,
title = {The Phase Transition Phenomenon of Shuffled Regression},
author = {Hang Zhang and Ping Li},
journal= {arXiv preprint arXiv:2310.20438},
year = {2023}
}