MUJICA：通过跨图注意力重构SISR模型以实现PBR材料超分辨率
计算机视觉与模式识别
2025-08-14 v1
摘要
基于物理的渲染（PBR）材料通常由多种2D纹理图表征，如基色图、法线图、金属度图和粗糙度图，这些图编码空间变化的双向反射分布函数（SVBRDF）参数，用于建模表面反射特性和微面元交互。SVBRDF材料的超分辨率放大对现代3D图形应用具有重要价值。然而，现有的单图像超分辨率（SISR）方法在跨图一致性、模态特定特征的充分建模以及因数据分布偏移导致的泛化能力有限方面存在困难。在本工作中，我们提出了MUJICA（Multi-modal Upscaling Joint Inference via Cross-map Attention），一种灵活的适配器，用于重构基于预训练Swin-transformer的SISR模型以实现PBR材料超分辨率。MUJICA无缝附加在预训练且冻结的SISR骨干网络之后。它利用跨图注意力融合特征，同时保留了预训练SISR模型的卓越重建能力。应用于SISR模型如SwinIR、DRCT和HMANet，MUJICA在保持跨图一致性的同时提升了PSNR、SSIM和LPIPS分数。实验证明MUJICA即使在资源有限的情况下也能实现高效训练，并在PBR材料数据集上取得了最先进的性能。
引用
@article{arxiv.2508.09802,
title = {MUJICA: Reforming SISR Models for PBR Material Super-Resolution via Cross-Map Attention},
author = {Xin Du and Maoyuan Xu and Zhi Ying},
journal= {arXiv preprint arXiv:2508.09802},
year = {2025}
}