什么是 神经网络？
神经网络是一种由相互连接的计算层表示的参数化函数。每层使用学习得到的权重与偏置变换向量，并常接非线性激活；训练根据目标函数调整参数，评测则判断这种行为能否泛化到训练数据之外。
快速了解
| 全称 | 人工神经网络 |
|---|---|
| 创建时间 | 1943 年由 Warren McCulloch 和 Walter Pitts 提出 |
| 规范文档 | 官方规范 |
工作原理
前向计算
Dense Layer 先计算 z = xW^T + b，再应用 ReLU、GELU、Sigmoid、Tanh 等 Activation。没有非线性运算时，多层 Affine Layer 仍可合并成一个 Affine Transformation。Tensor Shape、Dtype、Normalization、Residual Path 与 Output Head 都属于模型契约。
输出与损失
输出必须匹配 Target Semantics。回归可预测实数；二分类常使用一个 Logit；单标签多分类为每类输出一个 Logit；多标签任务使用相互独立的 Logit。框架的 Cross-Entropy 通常接收 Raw Logit，并在内部完成数值稳定的 Log-Softmax。
学习过程
Backpropagation 使用 Chain Rule 在计算图中高效计算 Gradient，SGD、Adam 等 Optimizer 再利用 Gradient 更新参数。反向传播负责求导，不会替系统选择有效 Objective、避免 Data Leakage，也不保证优化过程得到有用解。
泛化能力
网络可以持续降低 Training Loss，却在新数据或 Distribution Shift 下失败。可信评测需要防泄漏切分、简单 Baseline、代表性 Error Slice、必要时的重复实验、Calibration 或 Uncertainty 检查，以及训练与部署之间一致的 Preprocessing。
可靠性测试
有效测试应断言 Shape 与 Label Alignment、拒绝 NaN/Inf、在极小样例上用 Finite Difference 对比解析梯度、刻意过拟合干净的小 Batch，并确认 Eval Mode 已关闭训练专属行为。生产检查还应覆盖延迟、内存、漂移、隐私、公平性与回滚。
主要特点
- 通过计算图组合多层参数化运算来表示函数
- 使用非线性激活、门控、归一化、注意力、循环、卷积或它们的组合
- 根据显式目标函数和数据学习参数，而不是仅凭架构自动学习
- 可能学习有用表示，也可能学习捷径、泄漏、噪声或伪相关
- 要求 Output Head 与 Loss 匹配标签和概率语义
- 必须评测泛化、校准、鲁棒性、资源消耗与上线后漂移
常见用途
- 面向高维数据的分类、回归、排序和表示学习
- 语言、语音、视觉、音频、时序、图与多模态建模
- 预测 Token、Pixel、Audio Sample、Action 或 Latent Variable 的生成系统
- 具备显式置信度和降级策略的感知与控制组件
- 在领域约束下验证的科学计算或决策支持模型
示例
Loading code...常见问题
神经网络是对人脑的模拟吗？
不是。相关名称和早期 Threshold Unit 在历史上受到神经科学的松散启发，但普通神经网络是运行在数字硬件上的数学函数。它的 Weight、Activation、Training Objective 与 Data Pipeline 并不会复现生物神经元或人类认知。
神经网络如何从数据中学习？
Forward Pass 先生成预测，Loss 衡量预测与 Target 的差异，Backpropagation 沿计算图求导，Optimizer 再使用 Gradient 更新参数。是否学到有用规律仍取决于数据质量、Objective、优化配置和评测。
神经网络为什么需要激活函数？
没有非线性运算时，多层 Affine Layer 仍等价于一个 Affine Transformation。Activation 扩大网络可表示的函数范围，也会改变 Gradient Flow、数值行为和硬件成本，因此不存在适合所有架构的单一最佳激活函数。
神经网络和深度学习有什么区别？
神经网络是参数化计算结构；深度学习是围绕多阶段 Representation Learning 模型形成的机器学习实践，既包括深层神经网络，也包括配套的数据、优化、评测与部署方法。层数更多并不自动代表效果更好。
如何判断神经网络是否具备泛化能力？
应在未参与参数、预处理或超参数拟合的代表性数据上评测，与简单 Baseline 比较，检查 Error Slice 与 Calibration，在随机性重要时重复运行，并测试接近真实部署环境的 Distribution Shift。