通过正交基选择与对齐的数据协作分析
机器学习
2026-04-28 v9 最优化与控制
摘要
数据协作（DC）使多个方通过仅共享其私有数据集的线性投影来联合训练模型。DC 的核心挑战在于对齐这些投影的基底，而不透露每个方的秘密基底。虽然现有理论表明，任何支配公共子空间的目标基底都足够，但在实际操作中，基底的选择会显著影响准确性和数值稳定性。我们引入正交数据协作（ODC），强制执行正交秘密基底和目标基底，从而将对齐问题简化为经典的正交 Procrustes 问题，该问题可求闭式解。我们证明，所得变换基矩阵实现正交一致性，对齐所有方的表示，使下游性能对目标基底保持不变。计算上，ODC 将对齐复杂度从 O(min{a(cl)^2,a^2cl}) 降低到 O(acl^2)，经验评估显示在各种基准测试中实现了最高可达 100 倍的加速，同时保持或提高准确性。ODC 保持 DC 的单轮通信模式和隐私假设，提供一种简单且高效的现有 DC 流水线的即插即用改进。
关键词
引用
@article{arxiv.2403.02780,
title = {Data Collaboration Analysis with Orthonormal Basis Selection and Alignment},
author = {Keiyu Nosaka and Yamato Suetake and Yuichi Takano and Akiko Yoshise},
journal= {arXiv preprint arXiv:2403.02780},
year = {2026}
}
备注
44 pages