深度学习与机器学习的定义

机器学习是人工智能的子领域，通过算法从数据中学习规律并做出预测或决策，无需显式编程。核心任务包括分类、回归、聚类等。

深度学习是机器学习的子集，基于多层神经网络（如卷积神经网络CNN、循环神经网络RNN）自动提取特征，尤其擅长处理非结构化数据（图像、语音、文本）。

---

核心区别

特征提取方式

• 传统机器学习依赖人工设计特征（如SIFT、HOG）。
• 深度学习通过神经网络自动学习多层次特征，例如CNN的底层识别边缘，高层识别物体部件。

数据需求与性能

• 机器学习在小规模数据上表现良好，特征工程对结果影响显著。
• 深度学习需要海量数据，数据量越大性能通常越优，但计算资源消耗更高。

模型复杂度

• 机器学习模型如决策树、SVM参数较少，易于解释。
• 深度学习模型参数量大（如GPT-3达1750亿），属于“黑箱”模型。

---

典型算法与应用场景

机器学习经典算法

• 监督学习：线性回归（预测）、随机森林（分类）。
• 无监督学习：K-means（聚类）、PCA（降维）。
• 应用：信用卡风控（逻辑回归）、推荐系统（协同过滤）。

深度学习主流模型

• CNN：图像识别（ResNet）、医学影像分析。
• RNN/LSTM：时序数据处理（语音识别、股票预测）。
• Transformer：自然语言处理（BERT、GPT系列）。

---

选择依据

优先深度学习的情况

• 数据量大且非结构化（如视频、文本）。
• 任务需要高精度且特征提取困难（如自动驾驶中的物体检测）。

优先传统机器学习的情况

• 数据规模小或结构化（表格数据）。
• 需模型可解释性（医疗诊断中的决策原因）。

---

数学基础对比

机器学习

• 核心数学：概率论（贝叶斯定理）、线性代数（矩阵分解）、优化理论（梯度下降）。
• 损失函数示例（逻辑回归）：
  [ J(\theta) = -\frac{1}{m} \sum_{i=1}^m [y^{(i)}\log(h_\theta(x^{(i)})) + (1-y^{(i)})\log(1-h_\theta(x^{(i)}))] ]

深度学习

• 核心数学：张量运算、反向传播（链式法则）、正则化（Dropout）。
• 激活函数示例（ReLU）：
  [ f(x) = \max(0, x) ]

---

发展趋势

• 机器学习：聚焦轻量化模型（如XGBoost）与AutoML（自动化特征工程）。
• 深度学习：向多模态（CLIP）、小样本学习（元学习）及节能模型（稀疏化）演进。