可分离专家架构：通过可组合适配器与可删除用户代理实现隐私保护的大语言模型个性化
人工智能
2026-04-24 v1 机器学习
摘要
当前的模型训练方法直接将用户信息纳入共享权重，导致在无需重新训练的情况下无法实现个别数据删除。本文提出了一个三层架构，通过将静态基模型、可组合的领域专家LoRA适配器（用于塑造行为而不传递用户数据）以及每个用户的代理制品（删除即实现确定性遗忘）从共享权重中解耦个人数据。评估在Phi-3.5-mini和Llama-3.1-8B上进行，确认了在个人数据影响输出的同时保持隔离性，通过代理删除后返回基线（KL发散约为0.21 nats，82-89%验证通过率）以及近乎零的跨用户污染。由于用户特定信息从未进入共享权重，该架构在构造性地减轻了模型逆向、成员推断和训练数据提取攻击。该方法将机器学习遗忘从不可行的权重编辑问题转换为保持个性化与隐私增强保证同时进行的确定性删除操作，并与差分隐私随机梯度下降(DP-SGD)兼容，用于隐私保护的共享模型改进。
引用
@article{arxiv.2604.21571,
title = {Separable Expert Architecture: Toward Privacy-Preserving LLM Personalization via Composable Adapters and Deletable User Proxies},
author = {Chris Schneider and Philipp Schoenegger and Ben Bariach},
journal= {arXiv preprint arXiv:2604.21571},
year = {2026}
}