私有诗歌：通过专家产品实现的私有原语学习
机器学习
2026-02-06 v1
摘要
原语学习 (In-context Learning, ICL) 使大型语言模型 (LLM) 能够仅通过少量示例在推断时适应新任务，从而避免任务特定的微调。然而，原语中的示例可能包含不应通过模型输出透露的隐私敏感信息。现有的差分隐私 (DP) 方法要么计算昂贵，要么依赖启发式方法且有效性有限，包括上下文超采样、合成数据生成或不必要的阈值化。我们通过专家模型 (Product-of-Experts) 的视角重新构建私有 ICL。这提供了一个在理论上有据可依的框架，且算法可以轻松并行化。我们在文本分类、数学和视觉语言中的五个数据集上进行评估。我们发现，本方法在准确率方面比以前的 DP-ICL 方法提高了超过 30 个百分点，同时保持了强大的隐私保障。
引用
@article{arxiv.2602.05012,
title = {Private PoEtry: Private In-Context Learning via Product of Experts},
author = {Rob Romijnders and Mohammad Mahdi Derakhshani and Jonathan Petit and Max Welling and Christos Louizos and Yuki M. Asano},
journal= {arXiv preprint arXiv:2602.05012},
year = {2026}
}
备注
8 pages