面向专家—外行文本风格转换的自监督知识吸收

专家—外行文本风格转换技术有潜力改善科学界与公众之间的沟通。专家产出的高质量信息常充满外行难以理解的艰深术语。这在医学领域尤为显著，外行常因在线医学文本而困惑。目前，构建高质量医学专家—外行风格转换系统存在两大瓶颈：缺乏跨越专家与外行术语的预训练医学领域语言模型，以及缺乏用于训练转换任务本身的平行语料。为缓解第一问题，我们提出一种新颖的语言模型（LM）预训练任务——知识库吸收，在自监督学习中从专家与外行风格医学术语项构成的图边缘合成预训练数据进入 LM。为缓解第二问题，我们使用基于边界的准则构建了医学专家—外行领域的大规模平行语料。实验表明，基于 transformer 的模型经知识库吸收及其他成熟预训练任务预训练，并在我们的新平行语料上微调，相较专家—外行转换基准取得显著提升，使人工评估指标总体成功率（OSR）平均相对提升 106%。我们发布代码与平行语料以供后续研究。