先推理后比较：面向领域专业文本分析的LLM增强语义相似度度量
计算与语言
2024-02-22 v2 人工智能
摘要
在本研究中，我们利用大语言模型（LLM）增强语义分析并开发文本相似度度量，以解决传统无监督NLP指标（如ROUGE和BLEU）的局限性。我们开发了一个框架，使用GPT-4等LLM进行放射学报告的零样本文本识别和标签生成，然后将这些标签用作文本相似度的测量。通过在MIMIC数据上测试该框架，我们发现GPT-4生成的标签能显著改善语义相似度评估，其得分比传统NLP指标更接近临床真实情况。我们的工作展示了利用LLM的半定量推理结果对高度专业化领域的文本数据进行语义分析的可能性。虽然该框架是为放射学报告相似性分析实现的，但其概念可以扩展到其他专业领域。
引用
@article{arxiv.2402.11398,
title = {Reasoning before Comparison: LLM-Enhanced Semantic Similarity Metrics for Domain Specialized Text Analysis},
author = {Shaochen Xu and Zihao Wu and Huaqin Zhao and Peng Shu and Zhengliang Liu and Wenxiong Liao and Sheng Li and Andrea Sikora and Tianming Liu and Xiang Li},
journal= {arXiv preprint arXiv:2402.11398},
year = {2024}
}