众包环境下基于在线学习的偏好型主观评价自动设计优化
人机交互
2024-03-12 v1 计算与语言
机器学习
音频与语音处理
机器学习
摘要
基于偏好的主观评价是可靠评估生成式媒体的关键方法。然而，其巨大的配对组合数量阻碍了其在众包大规模评估中的应用。为解决这一问题，我们提出了一种在众包环境下针对偏好型主观评价的自动优化方法，涵盖配对组合选择和评估量分配，并结合在线学习。我们采用一种基于排序算法的基于偏好的在线学习方法，以最小的样本量识别评估目标的全序关系。我们的在线学习算法支持在众包所需的固定预算条件下进行并行和异步执行。我们在合成语音偏好型主观评价上的实验表明，我们的方法成功优化了测试，将配对组合从 351 减少到 83，并为每对分配了从 30 到 663 不等的最佳评估量，同时未损害评估精度且未浪费预算分配。
引用
@article{arxiv.2403.06100,
title = {Automatic design optimization of preference-based subjective evaluation with online learning in crowdsourcing environment},
author = {Yusuke Yasuda and Tomoki Toda},
journal= {arXiv preprint arXiv:2403.06100},
year = {2024}
}