基于迁移学习的隐私保护 CNN 训练：两隐藏层
密码学与安全
2025-04-18 v1
摘要
本文演示了使用完全同态加密（FHE）完全训练一个四层神经网络的过程，支持单输出和多输出分类任务，且无需交互式设置。我们工作的关键贡献之一是识别到，用 \textit{Sigmoid} 替代 \textit{Softmax}，结合二进制交叉熵（BCE）损失函数，提供了一个有效且可扩展的同态分类解决方案。此外，我们展示了 BCE 损失函数原为多输出任务所设计，自然扩展到多类设置，从而增强了更广泛的适用性。我们还指出了先前损失函数（如 SLE 损失和 2019 年 CVPR 工作坊提出的损失函数）的局限性，这些损失函数在网络深度增加时会出现梯度消失问题。为应对大规模加密数据的挑战，我们进一步引入了改进版之前提出的数据编码方案 \textit{双滚轮狼狈}，在计算和内存效率之间实现更好的权衡，使 FHE 基于神经网络训练更加实用。我们的完整可运行 C++ 代码可在：https://github.com/petitioner/ML.NNtraining 查阅。
引用
@article{arxiv.2504.12623,
title = {Privacy-Preserving CNN Training with Transfer Learning: Two Hidden Layers},
author = {John Chiang},
journal= {arXiv preprint arXiv:2504.12623},
year = {2025}
}