基于适配器的选择性知识蒸馏用于联邦多领域会议摘要
计算与语言
2024-10-28 v1
摘要
会议摘要已成为一种为用户提供浓缩摘要的有前景技术。然而，现有工作集中于在集中式数据上训练模型，忽视了现实场景中因会议数据敏感性而无法集中收集的实际情况。这一差距促使我们探索面向会议摘要的联邦学习。两个关键挑战阻碍进展。首先，最先进的摘要器基于参数繁重的预训练模型。在客户端间交换此类模型参数会带来巨大带宽成本。其次，由于现实世界会议数据属于不同领域且分布于各客户端，它们是非独立同分布（non-IID）的实例。IID 假设不成立，这改变了最适用学习算法的形式。为此，我们提出基于适配器的联邦选择性知识蒸馏（AdaFedSelecKD）来训练高性能客户端模型。具体而言，我们开发了基于适配器的摘要模型，其中两个适配器协作以更少参数促进学习，从而降低通信成本。然后，我们设计选择性知识蒸馏策略，在利用基于 non-IID 数据的全局参数的同时，协助客户端稳健地处理自身数据上面向领域的建模。在 QMSum 基准上的大量实验表明，AdaFedSelecKD 可达到与强大集中式训练方法相当的性能，并展现出泛化性与鲁棒性。
引用
@article{arxiv.2308.03275,
title = {Adapter-based Selective Knowledge Distillation for Federated Multi-domain Meeting Summarization},
author = {Xiachong Feng and Xiaocheng Feng and Xiyuan Du and Min-Yen Kan and Bing Qin},
journal= {arXiv preprint arXiv:2308.03275},
year = {2024}
}
备注
This work has been submitted to the IEEE TASLP for possible publication