分类即解码器：在医疗对话中以灵活性换取可控性
计算与语言
2019-11-21 v1 人工智能
机器学习
摘要
生成式 seq2seq 对话系统被训练用于预测已发生对话中的下一个词。它们可以从大规模未标注对话数据集中学习，建立对对话上下文更深的理解，并生成多种多样的回复。这种灵活性是以可控性为代价的，在医患交互中这是一个令人担忧的权衡。训练数据中的不准确之处、错别字或不良内容会在推理时被模型复现。我们以少量的标注投入和部分回复多样性的损失，换取质量可控性。更具体地说，一个预训练语言模型对对话上下文进行编码，我们微调一个分类头，将编码后的对话上下文映射到某个回复类别，其中每个类别是一组带有噪声标签的可互换回复。随着最佳实践的变更，专家可以随时间更新这些示例回复，而无需重新训练分类器或使旧训练数据失效。对 775 段未见过的医患对话的专家评估表明，判别模型的回复中只有 12% 比医生最终写下的内容更差，而生成式模型这一比例为 18%。
引用
@article{arxiv.1911.08554,
title = {Classification as Decoder: Trading Flexibility for Control in Medical Dialogue},
author = {Sam Shleifer and Manish Chablani and Anitha Kannan and Namit Katariya and Xavier Amatriain},
journal= {arXiv preprint arXiv:1911.08554},
year = {2019}
}
备注
Machine Learning for Health (ML4H) at NeurIPS 2019 - Extended Abstract. arXiv admin note: substantial text overlap with arXiv:1910.03476