基于孪生网络与合成数据的新型迁移学习方案
计算机视觉与模式识别
2022-11-23 v2 机器学习
图像与视频处理
摘要
基于在海量图像语料库上训练的深度网络的迁移学习方案提供了计算机视觉中的最先进技术。其中，监督与半监督方法构成了在相对较小数据集上表现良好的高效技术。然而，此类应用目前局限于已有合适深度网络模型可随时使用的应用领域。在本文中，我们探讨生物技术领域中一个重要应用方向——微流控单细胞培养中 CHO-K1 悬浮生长自动分析，其数据特征与现有领域差异极大，训练好的深度网络难以通过经典迁移学习进行适配。我们提出一种新型迁移学习方案，其扩展了近期引入的 Twin-VAE 架构（该架构在真实与合成数据上训练），并将该架构专门的训练流程改造至迁移学习领域。在该特定领域中，往往仅有少量乃至无标注，且标注成本高昂。我们研究了一种新型迁移学习策略，其利用不变共享表示及合适目标变量，在自然与合成数据上同步再训练，同时学习处理来自不同显微技术的未见数据。我们展示了我们所变体后的 Twin-VAE 架构相对于图像处理中最先进迁移学习方法及经典图像处理技术的优越性，即便在大幅缩短训练时间的情况下该优势依然保持，并在该领域取得令人满意的结果。源代码发布于 https://github.com/dstallmann/transfer_learning_twinvae，跨平台、开源且免费（MIT 许可）。数据集发布于 https://pub.uni-bielefeld.de/record/2960030。
引用
@article{arxiv.2211.11308,
title = {Novel transfer learning schemes based on Siamese networks and synthetic data},
author = {Dominik Stallmann and Philip Kenneweg and Barbara Hammer},
journal= {arXiv preprint arXiv:2211.11308},
year = {2022}
}