PKG-DPO：基于物理知识图谱和直接偏好优化的领域特定AI系统优化
人工智能
2025-08-27 v1
摘要
推进物理、材料科学和工程等科学领域的AI系统，要求在尊重支配原理的前提下，对复杂的多物理现象进行推理。虽然大型语言模型(LLM)和现有的偏好优化技术在标准基准测试中表现良好，但它们往往难以区分物理上有效与无效的推理。在像金属焊接这样的高风险应用中，这种缺陷变得至关重要，因为看似合理却物理错误的建议可能导致缺陷、材料浪费、设备损坏以及严重的安全风险。为此，我们引入PKG-DPO，这是一个新型框架，将物理知识图谱(PKG)与直接偏好优化(DPO)相结合，以在AI生成的输出中强制执行物理有效性。PKG-DPO包含三个关键组件：A)层次化物理知识图谱，编码跨领域关系、守恒定律和热力学原理；B)物理推理引擎，利用结构化知识提高对物理一致性和不一致响应的区分能力；C)物理 grounding 评估套件，旨在评估对特定领域约束的遵从情况。PKG-DPO在约束违规数上减少了17%，在物理分数上提高了11%，相较于KG-DPO(知识图谱基DPO)。此外，PKG-DPO在相关参数精度上提高了12%，在推理准确性和质量对齐方面提高了7%。虽然我们的主要关注焦点是金属焊接，但该框架可广泛应用于其他多尺度、基于物理的领域，为在偏好学习中嵌入科学约束提供了一种原则方法。
引用
@article{arxiv.2508.18391,
title = {PKG-DPO: Optimizing Domain-Specific AI systems with Physics Knowledge Graphs and Direct Preference Optimization},
author = {Nitin Nagesh Kulkarni and Bryson Wilcox and Max Sawa and Jason Thom},
journal= {arXiv preprint arXiv:2508.18391},
year = {2025}
}