SciGisPy：基于 gist 推理得分的生物医学文本简化新指标
计算与语言
2024-10-15 v1
摘要
生物医学文献常以高度专业化语言撰写，给非专家带来显著的理解挑战。自动文本简化（ATS）可通过保留关键信息的方式提升文本可及性，但现有评估指标在生物医学文本 ATS 方面仍存在局限。通用领域指标如 SARI、BLEU 和 ROUGE 关注表层文本特征，易读性指标如 FKGL 和 ARI 未能考虑领域特定术语或评估简化文本是否传达核心含义（gist）。为此，我们引入 SciGisPy，一种受 Fuzzy-Trace Theory（FTT）中 Gist Inference Score（GIS）启发的新型评估指标。SciGisPy 测量简化文本是否有效促进抽象推理（gist）的形成，尤其在生物医学领域。我们通过引入语义分块、信息含量（IC）理论和专业化嵌入，改进了 GIS 的制度，同时移除不适用的指标。实验评估表明，SciGisPy 在 Cochrane 生物医学文本简化数据集上优于原始 GIS 版本，在正确识别简化文本方面显著提升（84% 对 44.8%）。结果及详尽的消除实验确认，SciGisPy 更好地捕捉生物医学内容的核心含义，超越现有方法。
引用
@article{arxiv.2410.09632,
title = {SciGisPy: a Novel Metric for Biomedical Text Simplification via Gist Inference Score},
author = {Chen Lyu and Gabriele Pergola},
journal= {arXiv preprint arXiv:2410.09632},
year = {2024}
}
备注
Accepted by he Third Workshop on Text Simplification, Accessibility and Readability