DSO：利用仿真反馈对齐 3D 生成器以实现物理稳健性

大多数 3D 对象生成器侧重于审美质量，往往忽略实用应用所必需的物理约束。其中一种约束是 3D 对象应具备自支撑性，即在重力作用下保持平衡。以往实现稳定 3D 对象生成的方法依赖可微分物理仿真器在测试时优化几何体，这种方法速度慢、不稳定，且容易陷入局部最优。灵感来自对生成模型与外部反馈对齐的文献，我们提出了 Direct Simulation Optimization（DSO）。该框架利用（非可微分）仿真器的反馈来增加 3D 生成器直接输出稳定 3D 对象的可能性。我们构建了一个包含 3D 对象及其由物理仿真器标注的稳定性评分的数据集。该数据集使我们能够通过直接偏好优化（DPO）或直接奖励优化（DRO）——我们引入的一种无需双倾向偏好即可对扩散模型进行对齐的新型目标——对 3D 生成器进行微调。我们的实验表明，使用 DPO 或 DRO 目标中的任意一种，对 feed-forward 生成器进行微调后，显著快于 test-time 优化，且更可能产生稳定的对象。值得注意的是，DSO 框架即使在没有任何用于训练的 ground-truth 3D 对象的情况下也能正常工作，使 3D 生成器能够通过自动收集自身输出的仿真反馈来自我提升。