使用块压缩特征的实时神经材质

神经材质通常由一组神经特征以及一个解码器网络组成。将此类模型集成到实时渲染管线中的主要挑战在于：在GPU内存中存储其特征所需的大尺寸，以及高效评估网络的复杂性。我们提出了一种神经材质模型，其特征和解码器专为实时渲染管线设计。我们的框架利用基于硬件的块压缩（BC）纹理格式来存储学习到的特征，并训练模型在空间与尺度上连续输出材质信息。为此，我们以基于块的方式组织特征，并在训练期间模拟BC6解压缩，从而可将它们导出为常规BC6纹理。该结构使我们能够使用高分辨率特征，同时保持较低的内存占用。因此，这增强了模型的整体能力，使得可采用轻量且简单的解码器架构，该架构可直接在着色器中评估。此外，由于学习到的特征可被连续解码，它允许随机uv采样以及尺度间的平滑过渡，无需任何后续滤波。结果，我们的神经材质具有较小的内存占用，可被极快地解码，为渲染管线增添最小的计算开销。