SAFT：基于图结构的LLM AMR-to-Text生成结构感知微调
计算与语言
2025-12-11 v2 机器学习
摘要
大语言模型（LLM）正日益被应用于处理结构化输入任务，如图数据。抽象语义表示（AMR）以有向图形式编码丰富语义，为评估LLM从结构化数据生成文本提供了严苛基准。然而，现有方法常任意线性化AMR，丢失关键结构线索，或依赖与标准LLM不兼容的架构。我们提出SAFT（Structure-Aware Fine-Tuning），一种无需架构修改即可将图拓扑注入预训练LLM的结构感知微调方法。我们计算从转换后的AMR磁性拉普拉斯算子得到的方向敏感位置编码，并将其投影到LLM的嵌入空间。虽然可适用于任意图结构输入，但我们聚焦于AMR-to-Text生成作为代表性且具挑战性的基准。SAFT在AMR 3.0上实现了新的最佳结果，相较于基线提升了3.5个BLEU分数。提升随图复杂性而增大，凸显结构感知表示在提升LLM性能中的价值。SAFT为连接结构化数据与语言模型提供了一种通用且有效的路径。
引用
@article{arxiv.2507.13381,
title = {SAFT: Structure-Aware Fine-Tuning of LLMs for AMR-to-Text Generation},
author = {Rafiq Kamel and Filippo Guerranti and Simon Geisler and Stephan Günnemann},
journal= {arXiv preprint arXiv:2507.13381},
year = {2025}
}
备注
Accepted at the KDD2025 Workshop on Structured Knowledge for LLMs