深度学习中的优点、效率与归纳偏置：探索效率

深度学习的出现标志着机器学习的深刻转变，这一转变由近年来实现的诸多突破所驱动。然而，随着深度学习日益出现在日常工具和应用中，越来越需要解决与其效率和可持续性相关的未解决挑战。本论文深入探讨了归纳偏置——特别是连续建模和对称性保持——作为提高深度学习效率的策略。其结构分为两个主要部分。第一部分 investigate 连续建模作为提高深度学习算法效率的工具。连续建模涉及将神经操作在连续空间中参数化的思想。此处所呈现的研究在 (i) 计算效率——时间和内存方面，(ii) 参数效率，以及 (iii) 设计效率——为新数据集和任务的神经网络体系结构设计复杂性方面，都带来了显著的好处。第二部分关注对称性保持在深度学习效率中的作用。对称性保持涉及设计与数据固有对称性相匹配的神经操作。本部分所呈现的研究在数据效率和参数效率方面通过使用对称性保持实现了显著的收益。然而，它也确认了由于计算成本增加而导致的权衡。论文以对这些发现进行的批判性评估结束，公开讨论其局限性，并提出受文献和作者见解启发的应对策略。它最终确定了在探索归纳偏置以提高效率以及其对深度学习更广泛意义的未来研究方向。