知识回顾

1. 数据增强
2. 卷积神经网络定义的写法
3. batch归一化：调整一个批次的分布，常用与图像数据
4. 特征图：只有卷积操作输出的才叫特征图
5. 调度器：直接修改基础学习率

卷积操作常见流程如下：

1. 输入 → 卷积层 → Batch归一化层（可选） → 池化层 → 激活函数 → 下一层

1. Flatten -> Dense (with Dropout，可选) -> Dense (Output)

这里相关的概念比较多，如果之前没有学习过复试班强化班中的计算机视觉部分，请自行上网检索视频了解下基础概念，也可以对照我提供的之前的讲义学习下。

计算机视觉入门

作业：尝试手动修改下不同的调度器和CNN的结构，观察训练的差异。

数据增强
在图像数据预处理环节，为提升数据多样性，可采用数据增强（数据增广）策略。该策略通常不改变单次训练的样本总数，而通过对现有图像进行多样化变换，使每次训练输入的样本呈现更丰富的形态差异，从而有效扩展模型训练的样本空间多样性。

例如，如果原始数据集有1000张图像，数据增强后，数据集的大小仍然是1000张，但每次训练时，模型看到的都是经过随机变换的新样本。由于每次训练时模型看到的都是不同的数据变体，因此数据增强的效果相当于间接增加了样本数目。原图被替换成了新的图

常见的修改策略包括以下几类

        1. 几何变换：如旋转、缩放、平移、裁剪、剪裁、翻转
        2. 像素变换：如修改颜色、亮度、对比度、饱和度、色相、高斯模糊（模拟对焦失败）、增加噪声、马赛克
        3. 语义增强（暂时不用）：mixup，对图像进行结构性改造、cutout随机遮挡等

此外在数据极少的场景，常常使用生成模型来扩充数据集，如GAN、VAE等
 

CNN模型
卷积的本质：通过卷积核在输入通道上的滑动乘积，提取跨通道的空间特征。所以只需要定义几个参数即可
        1. 卷积核的大小：如3*3、5*5、7*7等
        2. 输入通道数：输入图片的通道数，如1（单通道图片）、3（RGB图片）、4（RGBA图片）等
        3. 输出通道数：卷积核的个数，即输出通道数。如本模型中通过32->64->128逐步增加特征复杂度
        4. 步长：卷积核的滑动步长，默认为1

# 4.定义CNN模型（代替原MLP）
class CNN(nn.Module):
    def __init__(self):
        super(CNN, self).__init__() # 继承父类初始化
    
        # ---------------------- 第一个卷积块 ----------------------
        # 卷积层1:输入3通道（RGB），输出32个特征图。卷积核3*3，边缘填充1像素
        self.conv1 = nn.Conv2d(
            in_channels=3,    # 输入通道数（图像的RGB通道）
            out_channel=32,   # 输出通道数（生成32个特征图）
            kernel_size=3,    # 卷积层尺寸（3*3像素）
            padding=1         # 边缘填充1像素，保持输出尺寸与输入相同
        )
        # 批量归一化层：对32个输出通道进行归一化，加速训练
        self.bn1 = nn.BatchNorm2d(num_features=32)
        # ReLU激活函数：引入非线性，公式max(0, x)
        self.relu1 = nn.ReLU()
        # 最大池化层：窗口2*2，步长2，特征尺寸减版（32*32->16*16）
        self.pool1 = nn.MaxPool2d(kernal_size=2, stride=2)    # stride默认等于kernal_size
 
        # ---------------------- 第二个卷积块 ----------------------
        # 卷积层2:输入32通道（来自conv1的输出），输出64通道
        self.conv2 = nn.Conv2d(
            in_channels=32,    # 输入通道数（前一层的输出通道数）
            out_channels=64,   # 输出通道数（特征图数量翻倍）
            kernel_size=3,     # 卷积核尺寸不变
            padding=1          # 保持尺寸：16x16→16x16（卷积后）→8x8（池化后）
        )
        self.bn2 = nn.BatchNorm2d(num_feature=64)
        self.relu2 = nn.ReLU()
        self.pool2 = nn.MaxPool2d(kernal_size=2)    # 尺寸减半：16*16->8*8
 
        # ---------------------- 第三个卷积块 ----------------------
        # 卷积层3：输入64通道，输出128通道
        self.conv3 = nn.Conv2d(
            in_channels=64,    # 输入通道数（前一层的输出通道数）
            out_channels=128,  # 输出通道数（特征图数量再次翻倍）
            kernel_size=3,
            padding=1          # 保持尺寸：8x8→8x8（卷积后）→4x4（池化后）
        )
        self.bn3 = nn.BatchNorm2d(num_features=128)
        self.relu3 = nn.ReLU()  # 复用激活函数对象（节省内存）
        self.pool3 = nn.MaxPool2d(kernel_size=2)  # 尺寸减半：8x8→4x4
 
        # ---------------------- 全连接层（分类器） ----------------------
        # 计算展平后的特征维度：128通道 × 4x4尺寸 = 128×16=2048维
        self.fc1 = nn.Linear(
            in_features = 128 * 4 * 4,    # 输入维度（卷积层输出的特征数）
            out_features = 512            # 输出维度（隐藏层神经元数）
        )
        # Dropout层：训练时随机丢弃50%神经元，防止过拟合
        self.dropout = nn.Dropout(p=0.5)
        # 输出层：将512维特征映射到10个类别
        self.fc2 = nn.Linear(in_features=512, out_features=10)
 
    def forward(self, x):
        # 输入尺寸：[batch_size, 3, 32, 32]（batch_size=批量大小，3=通道数，32x32=图像尺寸）
 
        # --------- 卷积块1处理 ---------- 
        x = self.conv1(x)       # 卷积后尺寸：[batch_size, 32, 32, 32]（padding=1保持尺寸）
        x = self.bn1(x)         # 批量归一化，不改变尺寸
        x = self.relu1(x)       # 激活函数，不改变尺寸
        x = self.pool1(x)       # 池化后尺寸：[batch_size, 32, 16, 16]（32→16是因为池化窗口2x2）
        
        # ---------- 卷积块2处理 ----------
        x = self.conv2(x)       # 卷积后尺寸：[batch_size, 64, 16, 16]（padding=1保持尺寸）
        x = self.bn2(x)
        x = self.relu2(x)
        x = self.pool2(x)       # 池化后尺寸：[batch_size, 64, 8, 8]
        
        # ---------- 卷积块3处理 ----------
        x = self.conv3(x)       # 卷积后尺寸：[batch_size, 128, 8, 8]（padding=1保持尺寸）
        x = self.bn3(x)
        x = self.relu3(x)
        x = self.pool3(x)       # 池化后尺寸：[batch_size, 128, 4, 4]
        
        # ---------- 展平与全连接层 ----------
        # 将多维特征图展平为一维向量：[batch_size, 128*4*4] = [batch_size, 2048]
        x = x.view(-1, 128 * 4 * 4)  # -1自动计算批量维度，保持批量大小不变
        x = self.fc1(x)           # 全连接层：2048→512，尺寸变为[batch_size, 512]
        x = self.relu3(x)         # 激活函数（复用relu3，与卷积块3共用）
        x = self.dropout(x)       # Dropout随机丢弃神经元，不改变尺寸
        x = self.fc2(x)           # 全连接层：512→10，尺寸变为[batch_size, 10]（未激活，直接输出logits）
        
        return x  # 输出未经过Softmax的logits，适用于交叉熵损失函数
 
# 初始化模型
model = CNN()
model = model.to(device)

batch归一化
batch归一化时深度学习中常用的归一化技术，加速模型收敛并提升泛化能力。通常位于卷积层后。

卷积常见流程如下：

1. 输入 → 卷积层 → Batch归一化层（可选） → 池化层 → 激活函数 → 下一层
2. Flatten -> Dense (with Dropout，可选) -> Dense (Output)

其中，BatchNorm应在池化前对空间维度的特征完成归一化，以确保归一化统计量给予足够多的样本（空间位置），避免池化导致的统计量偏差

旨在解决深度神经网络训练中的内部协变量偏移问题：深层网络中，随着前层参数更新，后层输入分布会发生变化，导致模型需要不断适应新分布，训练难度增加。就好比你在学习新知识，知识体系的基础一直在变，你就得不断重新适应，模型训练也是如此，这就导致训练变得困难，这就是内部协变量偏移问题。

通过对每个批次的输入数据进行标准化（均值为0、方差为1），想象把一堆杂乱无章、分布不同的数据规整到一个标准的样子。

        1.使各层输入分布稳定，让数据处于激活函数比较合适的区域，缓解梯度消失/爆炸问题；
        2.因为数据分布稳定了，所以允许使用更大的学习率，提升训练效率