在测试集上平均率失真曲线以比较学习型视频编解码器的做法可能导致误导性结论

本文旨在论证学习型视频压缩社区中普遍存在的做法——在测试视频集上平均率失真（RD）曲线——如何导致评估编解码器性能时得出误导性结论。通过对一个简单案例的分析以及对两种近期学习型视频编解码器的实验结果，我们展示了平均 RD 曲线如何误导不同编解码器的比较评估，尤其是当数据集中的视频具有不同特性和工作范围时。我们阐明，一个与测试集其余部分具有显著不同 RD 特性的单个视频，如何不成比例地影响平均 RD 曲线，从而可能掩盖某个编解码器在大多数单独序列上的优越性能。以 UVG 数据集上的两种近期学习型视频编解码器为例，我们证明从平均 RD 曲线计算出的性能指标（如 BD-rate）会得出与计算逐序列指标平均值所得结论相悖的结论。因此，我们认为学习型视频压缩社区也应报告逐序列的 RD 曲线，并且测试集的性能指标应从逐序列指标的平均值计算得出，这与传统视频编码中的既定做法类似，以确保公平准确的编解码器比较。