面向无配对图像到图像翻译的终身自监督学习
计算机视觉与模式识别
2020-04-02 v1 机器学习
图像与视频处理
摘要
无配对图像到图像翻译(I2IT)任务常受数据匮乏之苦，而自监督学习(SSL)近来在解决该问题上非常流行且成功。利用旋转预测或生成式着色等辅助任务，SSL能在低数据情形下产生更好且更鲁棒的表征。然而，随着模型规模和任务数量增长，沿I2IT任务训练此类任务在计算上难以承受。另一方面，顺序学习可能导致对先前所学任务的灾难性遗忘。为缓解此问题，我们提出终身自监督(LiSS)作为一种在一组自监督辅助任务上预训练I2IT模型（如CycleGAN）的方法。通过保持过往编码器的指数移动平均并蒸馏累积知识，我们能够在无需持续学习中通常使用的任何回放、参数隔离或重训练技术的情况下，维持网络在若干任务上的验证性能。我们表明，用LiSS训练的模型在过往任务上表现更好，同时也比CycleGAN基线对颜色偏置和实体纠缠（当两个实体非常接近时）更具鲁棒性。
引用
@article{arxiv.2004.00161,
title = {Towards Lifelong Self-Supervision For Unpaired Image-to-Image Translation},
author = {Victor Schmidt and Makesh Narsimhan Sreedhar and Mostafa ElAraby and Irina Rish},
journal= {arXiv preprint arXiv:2004.00161},
year = {2020}
}