分布偏移下重用对抗掩码判别器进行测试时训练
计算机视觉与模式识别
2023-06-29 v4 图像与视频处理
摘要
凭借学习灵活的数据驱动损失的能力,生成对抗网络(GANs)是许多用于医学图像分割的半监督和弱监督方法的重要组成部分。GANs 在一组训练数据上联合优化生成器与对抗判别器。训练完成后,判别器通常被丢弃,仅使用生成器进行推理。但我们应该丢弃判别器吗?在这项工作中,我们认为训练稳定的判别器会产生富有表现力的损失函数,可在推理时重用以检测并纠正分割错误。首先,我们明确了关键挑战并提出了使判别器在推理时可重用的可能解决方案。然后,我们展示可将判别器与图像重建代价(通过解码器)结合,为测试时训练赋予因果视角并进一步改进模型。我们的方法简单,且提升了预训练 GANs 的测试时性能。此外,我们表明其与标准后处理技术兼容,并有望用于在线持续学习(Online Continual Learning)。通过我们的工作,我们为在推理时重用对抗判别器开辟了新研究途径。我们的代码见 https://vios-s.github.io/adversarial-test-time-training。
引用
@article{arxiv.2108.11926,
title = {Re-using Adversarial Mask Discriminators for Test-time Training under Distribution Shifts},
author = {Gabriele Valvano and Andrea Leo and Sotirios A. Tsaftaris},
journal= {arXiv preprint arXiv:2108.11926},
year = {2023}
}
备注
Accepted for publication at the Journal of Machine Learning for Biomedical Imaging (MELBA) https://www.melba-journal.org/papers/2022:014.html