DualContrast: 基于隐式参数化的内容与变换无监督解缠
计算机视觉与模式识别
2025-02-18 v2
摘要
内容与变换的无监督解缠对于分析以形状为中心的科学图像数据集非常重要，因为它们在解决下游基于图像的形状分析任务中具有有效性。现有的相关工作通过显式参数化生成模型中的变换潜码来解决该问题，这显著降低了它们的表达能力。此外，它们不适用于变换不易参数化的情况。这种显式方法的替代方案是使用数据增强的对比方法，它隐式地解缠变换和内容。然而，现有的对比策略不足以实现这一目标。因此，我们开发了一种新颖的对比方法与生成建模相结合的方法DualContrast，专门用于以形状为中心的图像数据集中内容和变换的无监督解缠。DualContrast从数据和潜空间为内容和变换创建正负对。我们的大量实验展示了DualContrast相对于现有自监督和显式参数化方法的有效性。利用DualContrast，我们解缠了细胞3D蛋白质图像中的蛋白质组成和构象，这是现有解缠方法无法实现的。
引用
@article{arxiv.2405.16796,
title = {DualContrast: Unsupervised Disentangling of Content and Transformations with Implicit Parameterization},
author = {Mostofa Rafid Uddin and Min Xu},
journal= {arXiv preprint arXiv:2405.16796},
year = {2025}
}