从着色器程序迹中学习
机器学习
2022-04-26 v2 图形学
摘要
用于图像处理的深度学习通常将输入图像视为某色彩空间中的像素。本文转而提出从程序化片元着色器（生成图像的程序）的程序迹中学习。在每个像素处，我们收集程序执行时计算的中间值，这些数据构成所学模型的输入。我们针对多种应用考察此学习任务：我们的模型可学习从表现出采样噪声的着色器程序预测低噪声输出图像；该模型也可从以更少计算逼近参考解的简化着色器程序学习，以及学习散焦模糊和边缘感知锐化等后处理滤波器的输出。最后我们展示从程序迹学习的思想甚至可应用于非图像化的 boids 群模拟。我们在多种着色器上的实验从定量和定性上表明，从程序迹学习的模型优于从 RGB 颜色并辅以法线、深度、漫反射与高光颜色等手工挑选的着色器特定特征学习的基线模型。
引用
@article{arxiv.2102.04533,
title = {Learning from Shader Program Traces},
author = {Yuting Yang and Connelly Barnes and Adam Finkelstein},
journal= {arXiv preprint arXiv:2102.04533},
year = {2022}
}