什么是 深度学习?

深度学习(Deep Learning)是一类机器学习方法,通过组合多层参数化变换,通常是神经网络层,在显式目标约束下从数据中共同学习表示与任务输出。

快速了解

创建时间2006 年由 Geoffrey Hinton 等人提出
规范文档官方规范

工作原理

表示学习是核心

前层把输入转换为可供后层复用的中间表示。CNN 编码局部性与共享空间运算,RNN 沿序列传递状态,Transformer 用 Attention 混合 Token 上下文。它们代表不同 Inductive Bias,而不是固定排名。原始输入、工程特征、预训练表示和检索也可以同时出现在一个系统中。

训练绑定架构、目标与优化

网络只会学习数据中被 Loss 奖励的信号。Initialization、Normalization、Residual Path、Optimizer State、Precision、Batch 构造与 Regularization 都会影响梯度是否有效。Training Loss 更低可能来自 Data Leakage 或 Shortcut Learning,因此优化证据必须与泛化证据分开。

架构选择是工作负载决策

选型应考虑输入结构、所需上下文、可用数据、迁移学习条件、训练预算、服务延迟、内存、吞吐与硬件。预训练网络可能在更少标注数据下优于从头训练;受限表格任务中,树模型或线性模型也可能胜过深层网络。候选必须在相同切分、指标与资源约束下比较。

评测不能止于单一基准分数

使用防泄漏留出集、简单 Baseline、必要时的多次重复、Calibration 检查,以及覆盖类别、人群、环境和输入质量的 Error Slice。部署验证还应测量模型体积、峰值内存、批量延迟与 Tail Latency、能耗或成本、安全、隐私和 Distribution Shift 下的行为。

主要特点

  • 通过组合多层学习变换表示复杂函数
  • 把中间表示与任务目标联合学习
  • 使用局部性、循环、注意力或潜变量结构等架构偏置
  • 依赖优化、正则化、数据覆盖和数值稳定性
  • 可以利用迁移学习,但仍需在目标领域独立评测
  • 需要权衡质量、训练算力、服务延迟、内存、能耗与可解释性

常见用途

  1. 学习用于分类、检测或分割的视觉表示
  2. 建模语言、语音、音频与其他高维序列
  3. 生成文本、图像、音频、视频或潜变量表示
  4. 使用匹配工作负载的架构和状态生命周期处理传感器流
  5. 在明确质量、安全和资源门禁下适配预训练模型

示例

loading...
Loading code...

常见问题

神经网络具备什么条件才算深度网络?

深度描述输入到输出之间组合了多个计算阶段,不存在通用的层数阈值。不同计算图可以用不同表观深度表达相似函数。工程上真正重要的是架构是否学到有效表示,并满足目标质量和资源约束。

深度学习和机器学习有什么区别?

深度学习是机器学习中的一类方法,核心是多层神经网络与表示学习。机器学习还包括线性模型、树模型、核方法、聚类和强化学习算法。深层模型不一定更好,比较时必须使用相同的数据边界与任务指标。

深度学习是否不再需要特征工程?

它可以从原始或轻度处理的输入中联合学习许多表示,但团队仍需定义采样、标签、归一化、Tokenization、数据增强、上下文构造和输出语义。这些都是特征与数据工程决策,也可能引入泄漏或偏差。

什么时候应该使用预训练模型而不是从头训练?

当预训练模型的输入领域和许可证匹配任务,且标注数据或算力有限时,应优先从预训练模型开始。把冻结特征、参数高效适配和全量微调与简单基线比较;只有领域、架构、数据权利或规模能证明额外成本合理时,才从头训练。

生产环境如何评测深度学习模型?

先在未触碰数据和偏移数据上测量任务质量、失败切片与 Calibration,并和基线比较;再针对准备部署的同一模型产物与预处理链路测试峰值内存、吞吐、尾延迟、模型加载、数值精度、成本、隐私、安全和回滚行为。

相关术语

相关文章