基础模型能否助我们实现完美保密？

机器学习的一项关键承诺是能够协助用户完成个人任务。由于做出准确预测所需的个人上下文通常是敏感的，我们需要保护隐私的系统。一个黄金标准的隐私保护系统应满足完美保密，即与系统的交互可证明不会泄露任何私人信息。然而，在现有的个人任务系统中，隐私与质量似乎存在张力。神经模型通常需要大量训练才能表现良好，而单个用户通常只持有有限规模的数据，因此联邦学习（FL）系统提议从多个用户的聚合数据中学习。FL 并不提供完美保密，而是实践者应用统计意义上的隐私概念——即了解某用户私人信息的概率应当足够低。隐私保证的强度由隐私参数控制。已有大量针对 FL 系统的隐私攻击被证实，且对于隐私敏感用例而言，推理合适的隐私参数可能颇具挑战。因此，我们的工作提出了一种简单的 FL 基线，它既提供更强的完美保密保证，又无需设置任何隐私参数。我们开启了关于机器学习中一种新兴工具——近期预训练模型的上下文学习（in-context learning）能力——在何时何地能作为 FL 的有效基线这一问题的研究。我们发现，在隐私文献中 7 个流行基准中的 6 个以及一个与现实世界相关的案例研究（与预训练数据不相交）上，上下文学习可与强大的 FL 基线相竞争。我们在此发布代码：https://github.com/simran-arora/focus