深度学习中的损失函数与度量指标

本文对深度学习中的损失函数与性能度量指标进行了全面综述，突出了跨不同应用领域的重点进展与实用见解。我们首先概述回归与分类等经典任务中的基本考量，然后将分析扩展到计算机视觉与自然语言处理（包括检索增强生成）等专业领域。在每种设置中，我们系统考察不同损失函数与评估度量如何配对以应对类不平衡、离群值与序列级优化等任务特定挑战。本工作的关键贡献包括：（1）理解损失与度量如何与不同学习目标对齐的统一框架，（2）对平衡竞争目标的多损失设置的深入讨论，以及（3）对用于评估检索增强生成等现代应用的专门度量的新见解，其中忠实度与上下文相关性至关重要。在此过程中，我们强调了基于经验行为与领域约束选择或组合损失与度量的最佳实践。最后，我们指出开放问题与有前景的方向，包括损失函数搜索的自动化，以及为日益复杂的深度学习任务开发鲁棒、可解释的评估手段。本综述旨在为研究者和从业者提供更清晰的指导，以设计有效的训练流程与可靠的模型评估，面向广泛的实际应用。