基于物理引导的单张RGB图像视觉质量估计

从视觉输入估计物体质量具有挑战性，因为质量取决于几何体积和材料相关密度的联合因素，neither directly observable from RGB外观。因此，基于像素的质量预测是 ill-posed的，benefits from physically meaningful representations to constrain plausible solution的空间. 我们提出一个物理结构框架用于单图像质量估计，通过将视觉线索与支配质量的物理因素对齐来解决这一歧义。从单张RGB图像，我们通过单目深度估计恢复物体中心的三维几何，以inform体积并提取粗糙的材料语义using一个vision-language model以guide密度相关推理。这些几何、语义和外观表示通过instance-adaptive gating机制融合，两个物理引导的潜在因素（体积相关和密度相关）在仅基于质量监督下通过separate regression heads进行预测。在image2mass和ABO-500数据集上的实验表明，所提方法 consistent地优于state-of-the-art方法。