超越标签注意力：通过字典学习实现语言模型在自动医学编码中的透明性
计算与语言
2025-03-25 v2 人工智能
摘要
医学编码，即将非结构化临床文本翻译为标准化医学编码，是一项至关重要但耗时的医疗实践。虽然大型语言模型（LLM）可以自动化编码过程并提高此类任务的效率，但可解释性对于维持患者信任仍然至关重要。当前医学编码应用中的可解释性努力主要依赖标签注意力机制，这往往导致高亮显示与ICD编码无关的冗余标记。为了促进医学语言模型中的准确可解释性，本文利用字典学习，可以高效地从密集语言模型嵌入的叠加态中提取稀疏激活表示。与常见的标签注意力机制相比，我们的模型超越了标记级表示，通过构建可解释字典来增强对每个ICD编码预测的基于机制的解释，即使高亮的标记在医学上无关。我们表明，字典特征可以引导模型行为，阐明90%以上医学上无关标记的隐藏含义，并且是人类可理解的。
引用
@article{arxiv.2411.00173,
title = {Beyond Label Attention: Transparency in Language Models for Automated Medical Coding via Dictionary Learning},
author = {John Wu and David Wu and Jimeng Sun},
journal= {arXiv preprint arXiv:2411.00173},
year = {2025}
}
备注
https://aclanthology.org/2024.emnlp-main.500/