探索人物抽取方法的有效性
计算与语言
2024-07-15 v1
摘要
本文介绍了一项关于从对话中抽取信息并评估其性能的研究，具体针对俄语语言。为训练此任务的模型，将 Multi-Session Chat 数据集翻译为俄语，采用多种翻译模型，提高了数据质量。提出一种基于 F-score 概念的度量标准，用于评估抽取模型的效果。该度量标准使用经过训练的分类器来识别人物所属的对话参与者。实验测试了 MBart、FRED-T5、Starling-7B（基于 Mistral）以及 Encoder2Encoder 模型。结果显示，所有模型在人物抽取任务中召回率表现不足。引入 NCE Loss 可在牺牲召回率的情况下提高模型的精确率。此外，模型规模的增加也提升了人物的抽取效果。
引用
@article{arxiv.2407.09181,
title = {Exploring the Effectiveness of Methods for Persona Extraction},
author = {Konstantin Zaitsev},
journal= {arXiv preprint arXiv:2407.09181},
year = {2024}
}