去相关色彩空间在矢量量化变分自编码器中的效用
计算机视觉与模式识别
2020-10-01 v1 机器学习
摘要
矢量量化变分自编码器（VQ-VAE）由三个主要部分组成：1）编码视觉数据，2）在所谓嵌入空间中分配个不同向量，3）解码所学特征。虽然图像常以RGB色彩空间表示，但其他空间中颜色的特定组织也提供有趣特征，例如CIE L*a*b*将色度去相关为对立轴。在本文中，我们提出色彩空间转换这一简单的准无监督任务，以强制网络学习结构化表示。为此，我们训练了多个VQ-VAE实例，其输入为一种色彩空间的图像，输出为另一种，例如从RGB到CIE L*a*b*（共考虑五种色彩空间）。我们考察了训练网络的有限嵌入空间，以解耦VQ-VAE模型中的颜色表示。我们的分析表明，某些向量编码色调，另一些编码亮度信息。我们进一步使用逐像素颜色度量在低层评估重建图像质量，并通过将其输入图像分类和场景分割网络在高层次评估。我们在三个基准数据集上进行了实验：ImageNet、COCO和CelebA。结果表明，相对于基线网络（输入输出均为RGB），转换到去相关空间的色彩重建获得低1-2 Delta-E的颜色差异和高达5-10%更高的分类准确率。我们还观察到所学嵌入空间在对立色模型中更易解释。
引用
@article{arxiv.2009.14487,
title = {The Utility of Decorrelating Colour Spaces in Vector Quantised Variational Autoencoders},
author = {Arash Akbarinia and Raquel Gil-Rodríguez and Alban Flachot and Matteo Toscani},
journal= {arXiv preprint arXiv:2009.14487},
year = {2020}
}