基于语义对齐的 2D 高斯溅写图像 inpainting
计算机视觉与模式识别
2025-09-03 v1 人工智能
摘要
高斯溅写 (GS) 作为将离散点转换为连续空间表示的最新技术，在 3D 场景建模和 2D 图像超分辨率方面已显示出前景性。本文探索了其在图像 inpainting 中的未开发潜力，这一任务既需要局部像素合成的一致性，又需要全局语义恢复的一致性。我们提出了首个基于 2D 高斯溅写的图像 inpainting 框架，将不完整图像编码为 2D 高斯溅写系数的连续场，并通过可微光栅化过程重构最终图像。GS 的连续渲染范式本身会促进 inpainting 结果中像素级的一致性。为提高效率和可扩展性，我们引入分块光栅化策略以降低内存开销并加速推理。对于全局语义一致性，我们融合来自预训练 DINO 模型的特征。我们观察到 DINO 的全局特征对小范围缺失区域天然稳健，并且可以有效地适应用于大掩码场景以指导语义对齐，确保 inpainting 内容在上下文上与周围场景保持一致。在标准基准上的大量实验表明，我们的方法在定量指标和感知质量方面均实现了具竞争力的性能，开辟了将高斯溅写应用于 2D 图像处理的新方向。
引用
@article{arxiv.2509.01964,
title = {2D Gaussian Splatting with Semantic Alignment for Image Inpainting},
author = {Hongyu Li and Chaofeng Chen and Xiaoming Li and Guangming Lu},
journal= {arXiv preprint arXiv:2509.01964},
year = {2025}
}