CoC-GAN：利用上下文聚类开辟图像生成新路径
计算机视觉与模式识别
2023-08-24 v1
摘要
图像生成任务传统上采用卷积神经网络(CNN)或 Transformer 架构进行特征聚合与分发。尽管卷积与注意力结构频繁使用，但这些结构并非解决图像生成中不稳定性与缺乏可解释性问题的根本所需。在本文中，我们提出了一种独特的图像生成过程，其前提是将图像转换为一组点云。换言之，我们将图像解释为一组建点。因此，我们的方法利用称为上下文聚类(Context Clustering, CoC)的简单聚类方法从无序点集生成图像，这打破了使用卷积或注意力机制的惯例。因而，我们完全依赖该聚类技术，并结合多层感知机(MLP)构建生成模型。此外，我们为模型集成了一个称为“点增加器(Point Increaser)”的模块。该模块仅为一个负责生成额外点以供聚类的 MLP，随后这些点被整合进生成对抗网络(GAN)的范式之中。我们将这一具有新颖结构的模型称为上下文聚类生成对抗网络(Context Clustering Generative Adversarial Network, CoC-GAN)，其在特征聚合与分发领域提供了独特视角。实证评估证实，我们的 CoC-GAN 在不使用卷积与注意力机制的情况下表现出色。由 CoC 模块赋予的可解释性也使其在我们的实验中得以可视化。 promising 的结果凸显了我们方法的可行性，从而值得未来探索将上下文聚类应用于更新颖且可解释的图像生成。
引用
@article{arxiv.2308.11857,
title = {CoC-GAN: Employing Context Cluster for Unveiling a New Pathway in Image Generation},
author = {Zihao Wang and Yiming Huang and Ziyu Zhou},
journal= {arXiv preprint arXiv:2308.11857},
year = {2023}
}