鸟类种类识别中自监督域内与监督域外迁移学习的比较
机器学习
2024-04-29 v1 计算机视觉与模式识别
声音
摘要
将预训练模型的权重转移以协助另一个任务已成为现代深度学习中至关重要的环节，特别是在数据稀缺的场景中。预训练指在当前感兴趣的任务之外通常在另一个数据集上训练模型的初始步骤。它可以通过使用人工标注数据集的监督模型或在未标记数据集上训练的自监督模型来完成。在这两种情况下，都有许多可用于感兴趣任务的微调的预训练模型。有趣的是，研究表明，来自ImageNet的预训练模型尽管在图像数据集上训练，却对音频任务也有帮助。因此，域内模型是否比高质量的域外模型（如来自ImageNet的卷积神经网络）更有优势尚不明确。我们的实验将通过利用VICReg，这是一种最新且强大的自监督方法，展示在鸟类种类识别中利用域内模型和数据集的有用性。
引用
@article{arxiv.2404.17252,
title = {Comparison of self-supervised in-domain and supervised out-domain transfer learning for bird species recognition},
author = {Houtan Ghaffari and Paul Devos},
journal= {arXiv preprint arXiv:2404.17252},
year = {2024}
}