DialogSum 挑战赛:对话摘要共享任务结果
计算与语言
2022-09-07 v3
摘要
我们报道 DialogSum Challenge 的结果,这是 INLG 2022 上关于真实场景对话摘要的共享任务。四个团队参与了该共享任务,其中三个提交了系统报告,探索了不同方法来提升对话摘要的性能。尽管在 Rouge 分数等自动评测指标上相较基线模型有大幅提升,我们发现通过多方面的人工评估,模型生成摘要与人工标注摘要之间存在显著差距。这些发现揭示了对话摘要的难度,并表明亟需更细粒度的评测指标。
关键词
引用
@article{arxiv.2208.03898,
title = {DialogSum Challenge: Results of the Dialogue Summarization Shared Task},
author = {Yulong Chen and Naihao Deng and Yang Liu and Yue Zhang},
journal= {arXiv preprint arXiv:2208.03898},
year = {2022}
}
备注
INLG 2021 DialogSum Challenge Result Report. Link to this report on INLG website: https://inlgmeeting.github.io/poster_paper43.html. Presentation video on YouTube: https://www.youtube.com/watch?v=5Bk3tNr_1ng; on Bilibili: https://www.bilibili.com/video/BV13e4y1h7eB?spm_id_from=444.41.list.card_archive.click