关于 RECENT 关系抽取系统 F1 分数评测的探讨
计算与语言
2023-05-17 v1 人工智能
摘要
本文包含对 Shengfei Lyu、Huanhuan Chen 发表于 Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 的论文《Relation Classification with Entity Type Restriction》中所用 F1 分数评测的讨论。作者构建了一个名为 RECENT 的系统，并声称其在 TACRED 数据集上取得了（当时的）新的 SOTA 结果 75.2（此前为 74.8），而在纠正错误并重新评测后，最终结果为 65.16。
引用
@article{arxiv.2305.09410,
title = {About Evaluation of F1 Score for RECENT Relation Extraction System},
author = {Michał Olek},
journal= {arXiv preprint arXiv:2305.09410},
year = {2023}
}