KD3A：基于知识蒸馏的无监督多源去中心化域适应
机器学习
2021-06-16 v7
摘要
传统的无监督多源域适应（UMDA）方法假设所有源域均可直接访问。这忽略了隐私保护策略，即所有数据和计算必须保持去中心化。该场景下存在三个问题：（1）最小化域间距离需要对源域和目标域数据进行成对计算，而这是不可访问的。（2）通信成本与隐私安全限制了UMDA方法（如域对抗训练）的应用。（3）由于用户无权检查数据质量，不相关或恶意的源域更可能出现，从而导致负迁移。在本研究中，我们提出一种名为基于知识蒸馏的去中心化域适应（KD3A）的隐私保护UMDA范式，其通过对来自不同源域的模型进行知识蒸馏来实现域适应。KD3A通过三个组件解决上述问题：（1）一种名为知识投票（Knowledge Vote）的多源知识蒸馏方法，用于学习高质量的域共识知识。（2）一种名为共识聚焦（Consensus Focus）的动态加权策略，用于识别恶意与不相关域。（3）一种用于域距离的 decentralized 优化策略 BatchNorm MMD。在 DomainNet 上的大量实验表明，KD3A 对负迁移具有鲁棒性，且与其他去中心化 UMDA 方法相比将通信成本降低了100倍。此外，我们的 KD3A 显著优于最先进的 UMDA 方法。
引用
@article{arxiv.2011.09757,
title = {KD3A: Unsupervised Multi-Source Decentralized Domain Adaptation via Knowledge Distillation},
author = {Hao-Zhe Feng and Zhaoyang You and Minghao Chen and Tianye Zhang and Minfeng Zhu and Fei Wu and Chao Wu and Wei Chen},
journal= {arXiv preprint arXiv:2011.09757},
year = {2021}
}
备注
15 pages, 5 figures, Accepted for presentation at ICML2021