面向隐私保护少样本学习的自适应裁剪：在有限数据下增强泛化能力
机器学习
2025-04-01 v1 人工智能
摘要
在数据驱动的机器学习应用时代，隐私担忧和标注数据稀缺已成为首要挑战。这些挑战在少样本学习领域尤为突出，在该领域中，从有限标注数据中学习的能力至关重要。隐私保护少样本学习算法已成为应对此类突出挑战的有前景的解决方案。然而，众所周知，由于数据隐私与模型性能之间的基本权衡，隐私保护技术通常会导致效用下降。为了增强隐私保护少样本学习方法的效用，我们引入了一种名为 Meta-Clip 的新方法。该技术专为元学习算法设计，包括差分隐私（DP）模型无关元学习、DP-Reptile 和 DP-MetaSGD 算法，旨在平衡数据隐私保护与学习能力的最大化。通过在训练过程中动态调整裁剪阈值，我们的自适应裁剪方法对敏感信息的披露提供了细粒度控制，缓解了在小数据集上的过拟合，并显著提高了元学习模型的泛化性能。通过在多样化的基准数据集上进行全面实验，我们证明了该方法在最小化效用下降方面的有效性，与现有的隐私保护技术相比，展现出更优的隐私-效用权衡。自适应裁剪的采用代表了隐私保护少样本学习领域向前迈出的重要一步，推动了面向实际应用（尤其是在数据可用性有限的场景下）的安全且准确的模型的发展。
引用
@article{arxiv.2503.22749,
title = {Adaptive Clipping for Privacy-Preserving Few-Shot Learning: Enhancing Generalization with Limited Data},
author = {Kanishka Ranaweera and Dinh C. Nguyen and Pubudu N. Pathirana and David Smith and Ming Ding and Thierry Rakotoarivelo and Aruna Seneviratne},
journal= {arXiv preprint arXiv:2503.22749},
year = {2025}
}