深度学习中常用backbone总结
深度学习常见的backbone结构、特点汇总
·
# 面试遇到过的问题汇总
1. 常见backbone的结构特点
2. 对轻量化网络的了解
3. 例举一些梯度消失问题的解决方案
| 网络名称 | 意义 | 结构特点 | 注解 | 针对梯度消失问题的解决方案 |
|---|---|---|---|---|
| LeNet5 | 卷积+全连接 | |||
| AlexNet | 网络更大更深 | 使用ReLU作为激活函数代替Sigmoid；使用数据增强(crop, PCA, noise)和dropout来解决过拟合问题；用最大池化取代平均池化，避免模糊化；提出LRN层局部相应归一化 | 局部响应归一化Local Response Normalization(LRN)：对局部神经元的活动创建竞争机制，使其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强模型的泛化能力（结合RELU损失函数效果更好） | ReLU激活函数 |
| VGG | 证明提高网络的深度能提高精度 | 多个小尺寸卷积核替代大尺寸卷积核；使用1x1卷积核+RELU提高模型非线性，不改变通道数；层之间用max-pooling分开；softmax输出；证明提高网络的深度能提高精度 | 多个小尺寸卷积核替代大尺寸卷积核：更小的计算量获得相同感受野；增强非线性表达能力 | |
| GoogleNet V1 | 加宽网络以解决表征瓶颈 | 模块化结构；采用多个不同卷积核尺寸的并行分支，最后叠加特征图；各分支通过1×1卷积调减少道数；用Global Ave Pool取代 FC，减少网络参数防止过拟合；辅助分类器（softmax） | 辅助分类器：训练时网络有三个输出，对三处损失进行加权平均，相当于做了模型融合，同时给网络增加了反向传播的梯度信号以缓解梯度消失，并提供了正则化手段；测试或者部署时仅仅用最后一个输出。Inception：先使用1×1卷积学习通道之间的相关性，并将特征映射到新的空间，再通过3×3或5×5卷积核同时学习空间和通道相关性。 | 辅助分类器 |
| GoogleNet V2（Inception V2/BN-Inception） | 中间层加入BN；卷积分解：两个3×3卷积代替一个5×5卷积、nxn卷积分解为1xn和nx1卷积；有的模块使用Avg pooling有的使用Max Pooling；下采样通过改变模块内部步长实现，即池化和卷积并行执行再合并，保持特征表示并降低计算量 | 卷积分解：加速计算同时加深网络，提高非线性表达能力；BN：预防梯度消失和梯度爆炸，加快训练的速度 | ||
| GoogleNet V3（Inception V3） | RMSProp优化器；7x7卷积分解为1x7和7x1卷积的组合；辅助分类器中加入BN；label smoothing防止过拟合，提高模型泛化能力；下采样通过pooling和conv并行后contact实现 | 标签平滑：使用GT标签学习会使得最大的Logit输出值与其他的值差别尽可能地大，模型预测的时候更自信，但容易出现过拟合，不能保证泛化能力；下采样模块：使用maxpool下采样信息损失较大，设计pooling和conv两个并行的分支进行contact，计算量较小且避免瓶颈。 | ||
| Xception（极端Inception） | 解耦通道相关性和空间相关性 | 拼接所有1×1卷积结果，增加3×3卷积数量与1×1通道数相等，将空间和通道完全分离，提升性能并降低参数量 | 与Inception相比完全分离通道相关性和空间相关性；通道可分离卷积先对各通道进行卷积再1x1卷积（先depth-wise），而Xception先1x1卷积，再对单个通道进行卷积（先point-wise） | |
| ResNet | 首次将错误率降到比人类还低的水平；解决梯度消失问题，让更深的网络结构变得可行 | 第一个卷积采用7×7大卷积核增加感受野；残差结构解决梯度消失问题；Avg Pool替代FC；采用步长为2的卷积替代池化层； | Residual：y=f(x)+x，引入恒等映射(element wise addition)解决网络深度增加带来的退化问题；各层导数+1，保证梯度不消失。输入和输出维度不一致时采用步长为2的卷积来减小维度尺寸 | Residual learning |
| ResNeXt | 模块化结构；每个block中包含一个恒等映射和多个相同的并行分支，并采用分组卷积提升计算效率 | |||
| SENet | 通道注意力 | Squeeze+Excitation+Reweight（Channel Attention） | 考虑channel维度的权重 | |
| SKNet | 设计两个并行的数据通路，先后进行Group Conv、softmax提取权重和加权操作；最后将两路结果进行加权 | 考虑channel维度的权重和两路卷积权重 | ||
| DenseNet | 密集连接；采用channel concatenate代替element-wise addition实现特征复用；采用Transition layer降低特征图尺寸 | 密集连接提升了梯度的反向传播，使得网络更容易训练 （每层可以直达最后的误差信号） | Dense connection（缺点：内存占用大） | |
| EfficientNet V1 | 使用一个复合系数从深度、宽度和分辨率三个维度放大网络，便于缩放 | 实验确定depth, width , resolution的规模公式 | 对网络深度、宽度和分辨率中的任何维度进行缩放都可以提高精度，但是当模型足够大时，这种放大的收益会减弱；为了追去更好的精度和效率，在缩放时平衡网络所有维度至关重要 | |
| EfficientNet V2 | 兼顾训练速度和参数数量 | |||
| SqueezeNet | 轻量化结构（减少参数：用1×1卷积减少3×3的通道数；删除全连接层） | 通过1×1卷积调减少3×3卷积的道数；延后使用pooling，增加感受野，提高精度； | ||
| MobileNet V1 | 轻量化结构 （优化卷积计算：DW Conv） | 通过深度可分离卷积（深度卷积depthwise conv + 逐点卷积pointwise conv）代替原始卷积，减少计算量； | **DW Conv：**深度卷积对每个通道单独进行卷积操作，得到和输入特征图通道数一致的输出特征图；逐点卷积即1*1的卷积，对深度卷积得到的特征图进行升维 | |
| MobileNet V2 | 轻量化结构 | linear bottleneck：最后一个ReLU函数换成linear；inverted residuals：使用1x1卷积升维，在高维空间提取特征后再降维 | 考虑到通道数较少，故用1×1升维进行特征提取后再降维；由于ReLU使部分参数为0，因此对低维度做ReLU运算容易造成信息丢失，而高维度信息丢失较少，因此将最后一个1×1卷积后的ReLU更改为linear | |
| ShuffleNet V1 | 轻量化结构（优化卷积结构：Group Conv分组卷积 + Channel Shuffle通道混洗） | skip connection；DW Conv；分组卷积减少计算量，并采用通道混洗操作将输入打乱 | Group Conv：按通道数分组，采用不同的卷积核对各个组进行卷积，可以降低计算量（分组卷积是一种稀疏卷积，参数量为常规卷积的1/g）； Channel Shuffle：群卷积之后的特征图顺序打乱重排，使不同分组之间信息流通 |
技术共进，成长同行——讯飞AI开发者社区
更多推荐
1
0- 0
已为社区贡献2条内容
所有评论(0)