Personalized Federated Continual Learning via Multi-granularity Prompt

个人化联合持续学习（PFCL）是一种新的实际场景，提出了更大的知识共享和个人化挑战。PFCL 不仅依赖于服务器在全局时空视角下的知识融合，还需要根据每个客户的本地需求对模型进行改进。现有方法，无论是针对个人化联合学习（PFL）还是联合持续学习（FCL），都忽略了知识的多粒度表示，这可以用于克服时空灾难性遗忘（STCF），并通过粗到细的人类认知机制将通用知识适用于自身。此外，这更有效地实现了对个人化共享知识的细化，从而实现自身目的。为此，我们提出一种新概念，即多粒度提示，即通过常见模型学习过程获得的粗粒度全局提示，用于个人化泛化表示的细粒度本地提示。前者侧重于在不发生空间遗忘的情况下高效地传递共享全局知识，而后者强调对特定化本地知识的学习，以克服时间遗忘。此外，我们设计了一种选择性提示融合机制，用于聚合来自不同客户的全局提示所提炼的知识。通过对粗粒度知识的独特融合，我们实现了客户之间常见知识的传输和细化，进一步提升了个人化性能。大量实验表明，所提出的方法在解决 STCF 以及提高个人化性能方面均有效。我们的代码现已在 https://github.com/SkyOfBeginning/FedMGP 上公开。