中文

TextMineX:面向人道 mine 行动的数据、评估框架与本体导向的LLM管线

计算与语言 2026-01-28 v4 人工智能

摘要

人道 mine 行动(HMA)旨在检测和清除冲突地区的地雷。大量由HMA机构产生的生存性运营知识埋藏在非结构化报告中,限制了信息在不同机构之间的可移植性。为此,我们提出TextMineX:首个面向HMA领域的文本知识抽取数据集、评估框架和本体导向的大语言模型(LLM)管线。TextMineX将HMA报告结构化为(主体、关系、客体)三元组,从而创建特定领域的知识。为确保现实应用相关性,我们采用了来自合作伙伴柬埔塔拉 Mine 行动中心(CMAC)的数据集。我们进一步引入一种偏见感知评估框架,将人工标注三元组与LLM作为裁判器协议相结合,以缓解无参考评分中的位置偏见。我们的实验表明,本体对齐提示词在抽取准确性提升最高可达44.2%,减少幻觉22.5%,提高格式一致性20.9%。我们公开发布数据集和代码。

关键词

引用

@article{arxiv.2509.15098,
  title  = {TextMineX: Data, Evaluation Framework and Ontology-guided LLM Pipeline for Humanitarian Mine Action},
  author = {Chenyue Zhou and Gürkan Solmaz and Flavio Cirillo and Kiril Gashteovski and Jonathan Fürst},
  journal= {arXiv preprint arXiv:2509.15098},
  year   = {2026}
}