超复数图像到图像翻译
计算机视觉与模式识别
2022-10-11 v1 机器学习
摘要
图像到图像翻译（I2I）旨在将内容表示从输入域迁移至输出域，在不同目标域间转换。近期在此任务中取得优异结果的 I2I 生成模型，包含一组各异的深度网络，每个具有数千万参数。此外，图像通常由 RGB 通道组成的三维结构，而常见神经模型未考虑维度间相关性，丢失了有益信息。本文中，我们提出利用超复数代数性质来定义轻量化的 I2I 生成模型，能够保留图像维度间既存关系，从而利用额外输入信息。在多个 I2I 基准上，我们展示了所提出的四元数 StarGANv2 与参数化超复数 StarGANv2（PHStarGANv2）在减少参数与存储内存量的同时，确保了如 FID 与 LPIPS 分数所衡量的高域翻译性能与良好图像质量。完整代码见：https://github.com/ispamm/HI2I。
引用
@article{arxiv.2205.02087,
title = {Hypercomplex Image-to-Image Translation},
author = {Eleonora Grassucci and Luigi Sigillo and Aurelio Uncini and Danilo Comminiello},
journal= {arXiv preprint arXiv:2205.02087},
year = {2022}
}