无数据知识迁移：综述

在过去的十年中，许多深度学习模型得到了良好的训练，并在机器智能的各个领域取得了巨大成功，尤其是计算机视觉和自然语言处理。为了更好地在域内或跨域迁移学习场景中利用这些训练良好模型的潜力，知识蒸馏（KD）和域适应（DA）被提出并成为研究热点。它们的目标都是从带有原始训练数据的训练良好模型中迁移有用信息。然而，由于隐私、版权或机密性，原始数据在许多情况下并不总是可用的。近年来，无数据知识迁移范式引起了广泛关注，因为它无需访问训练数据即可从训练良好的模型中蒸馏有价值的知识。具体而言，它主要包括无数据知识蒸馏（DFKD）和源数据无域适应（SFDA）。一方面，DFKD旨在将原始数据的域内知识从笨重的教师网络迁移到紧凑的学生网络，以实现模型压缩和高效推理。另一方面，SFDA的目标是复用存储在训练良好的源模型中的跨域知识，并将其适应到目标域。在本文中，我们从知识蒸馏和无监督域适应的角度对无数据知识迁移进行了全面综述，以帮助读者更好地理解当前的研究现状与思路。分别简要回顾了这两个领域的应用与挑战。此外，我们对未来研究课题提供了一些见解。