文本摘要中译后编辑有效性的探索
计算与语言
2022-06-15 v1 人工智能
人机交互
摘要
自动摘要方法高效但可能存在质量低下的问题。相比之下，人工摘要成本高昂但质量更高。人类与 AI 能否协作以提升摘要性能？在类似的文本生成任务（如机器翻译）中，以“译后编辑”AI 生成文本形式的人机协作减少了人工工作量并提升了 AI 输出质量。因此，我们探究译后编辑在文本摘要中是否具有优势。具体而言，我们开展了一项有 72 名参与者参与的实验，在正式（XSum 新闻）与非正式（Reddit 帖子）文本上，比较译后编辑所提供摘要与人工摘要在摘要质量、人工效率及用户体验方面的差异。本研究对译后编辑何时有益于文本摘要提供了宝贵见解：其在某些情况下（如参与者缺乏领域知识时）有帮助，但在其他情况下（如所提供的摘要包含不准确信息时）则无益。参与者不同的编辑策略与辅助需求为未来的人机摘要系统提供了启示。
引用
@article{arxiv.2206.06383,
title = {An Exploration of Post-Editing Effectiveness in Text Summarization},
author = {Vivian Lai and Alison Smith-Renner and Ke Zhang and Ruijia Cheng and Wenjuan Zhang and Joel Tetreault and Alejandro Jaimes},
journal= {arXiv preprint arXiv:2206.06383},
year = {2022}
}
备注
18 pages, 21 figures