可控文本生成技术的基于指标的评估复现
计算与语言
2024-05-14 v1
摘要
重新运行基于指标的评估应当更为直接，结果也应更接近，尤其当原始作者提供了代码和模型检查点时。然而，我们这次尝试复现对一组单属性和多属性可控文本生成（CTG）技术进行基于指标的评估的报告显示，此类评估的复现并不总是产生与原始结果相同的结果，甚至会揭示原始工作报告中的错误。
引用
@article{arxiv.2405.07875,
title = {Reproducing the Metric-Based Evaluation of a Set of Controllable Text Generation Techniques},
author = {Michela Lorandi and Anya Belz},
journal= {arXiv preprint arXiv:2405.07875},
year = {2024}
}
备注
The Fourth Workshop on Human Evaluation of NLP Systems (HumEval 2024) at LREC-COLING 2024