面向域泛化的跨域集成蒸馏
计算机视觉与模式识别
2022-11-28 v1 人工智能
机器学习
摘要
域泛化是学习可泛化到未见目标域的模型的任务。我们提出一种简单而有效的域泛化方法，称为跨域集成蒸馏（XDED），该方法学习域不变特征，同时鼓励模型收敛到平坦极小值，后者近期被证明是域泛化的充分条件。为此，我们的方法用来自不同域但具有相同标签的训练数据生成输出 logits 的集成，然后惩罚每个输出与该集成的不匹配。此外，我们提出一种去风格化技术，对特征进行标准化，以鼓励模型即使在任意目标域中也能产生风格一致的预测。我们的方法在跨域图像分类、跨数据集行人重识别（re-ID）和跨数据集语义分割的公开基准上大幅提升了泛化能力。此外，我们表明由我们的方法学习的模型对对抗攻击和图像损坏具有鲁棒性。
引用
@article{arxiv.2211.14058,
title = {Cross-Domain Ensemble Distillation for Domain Generalization},
author = {Kyungmoon Lee and Sungyeon Kim and Suha Kwak},
journal= {arXiv preprint arXiv:2211.14058},
year = {2022}
}
备注
Accepted to ECCV 2022. Code is available at http://github.com/leekyungmoon/XDED