SemEval-2017 任务 1：语义文本相似度——聚焦多语言与跨语言评测
计算与语言
2017-08-02 v1
摘要
语义文本相似度（Semantic Textual Similarity, STS）衡量句子的语义相似性。其应用包括机器翻译（machine translation, MT）、摘要、生成、问答（question answering, QA）、简答题评分、语义搜索以及对话与会话系统。STS共享任务是评估当前技术发展水平的平台。2017年的任务聚焦于多语言和跨语言对，其中一个子赛道探索了机器翻译质量估计（machine translation quality estimation, MTQE）数据。该任务获得了31个团队的积极参与，其中17个团队参与了所有语言赛道。我们总结了性能表现并回顾了部分表现优异的方法。分析重点指出了常见错误，为现有模型的局限性提供了深入见解。为支持语义表示方面的持续研究，我们引入了STS Benchmark作为一个新的共享训练与评测集，该数据集从2012至2017年的英语STS共享任务数据语料库中精心筛选而成。
引用
@article{arxiv.1708.00055,
title = {SemEval-2017 Task 1: Semantic Textual Similarity - Multilingual and Cross-lingual Focused Evaluation},
author = {Daniel Cer and Mona Diab and Eneko Agirre and Iñigo Lopez-Gazpio and Lucia Specia},
journal= {arXiv preprint arXiv:1708.00055},
year = {2017}
}
备注
To appear in proceedings of the SemEval workshop at ACL 2017; 14 pages, 14 Tables, 1 Figure