Mesh-RFT：通过细粒度强化微调增强网格生成
计算机视觉与模式识别
2025-10-24 v2
摘要
现有的三维网格生成预训练模型常受数据偏差影响，产生低质量结果，而全局强化学习方法依赖对象级奖励，难以捕捉局部结构细节。为应对这些挑战，我们提出了 Mesh-RFT，一种新颖的细粒度强化微调框架，该框架采用掩码直接偏好优化 (M-DPO)，通过质量感知的面片掩码实现局部细化。为便于高效的质量评估，我们引入了一个客观的拓扑感知评分系统，通过边界边比率 (BER) 和拓扑得分 (TS) 两个指标，在对象和面片两个层面评估几何完整性和拓扑正则性。通过将这些指标整合到细粒度强化学习策略中，Mesh-RFT 成为首个在单个面片粒度上优化网格质量的方法，解决了局部错误，同时保持了全局一致性。实验结果表明，与预训练模型相比，我们的 M-DPO 方法将豪斯多夫距离 (HD) 降低了 24.6%，将拓扑得分 (TS) 提高了 3.8%；同时，与全局 DPO 方法相比，HD 降低了 17.4%，TS 提高了 4.9%。这些结果证明了 Mesh-RFT 提升几何完整性和拓扑正则性的能力，在面向生产的网格生成中实现了新的最优性能。项目页面：https://hitcslj.github.io/mesh-rft/。
引用
@article{arxiv.2505.16761,
title = {Mesh-RFT: Enhancing Mesh Generation via Fine-grained Reinforcement Fine-Tuning},
author = {Jian Liu and Jing Xu and Song Guo and Jing Li and Jingfeng Guo and Jiaao Yu and Haohan Weng and Biwen Lei and Xianghui Yang and Zhuo Chen and Fangqi Zhu and Tao Han and Chunchao Guo},
journal= {arXiv preprint arXiv:2505.16761},
year = {2025}
}
备注
NeurIPS 2025, Spotlight