杨浦专业网站建设江象网站建设

输入图像——卷积层——池化层——全连接层——输出

卷积层：核心，用来提取特征。
池化层：对特征降维。实际的主要作用是下采样，减少参数量来提高计算速度。
卷积神经网络的训练：前向传播（分类识别）、反向传播（求各层误差，更新权值）

用来分类的卷积神经网络模型（经典）

（1）AlexNet：5层卷积+最后连接3个全连接层。ReLU激活函数(收敛速度快，减少训练时间，避免梯度弥散)。Dropout机制(让某些神经元停止工作，降低过拟合现象)。数据增强随机裁剪(训练样本扩充，减少过拟合风险)。重叠池化(池化操作步长小于池化的窗口大小)。

（2）VGG：使用多个小卷积核代替一个大尺寸卷积核(网络深度更深，深就可以提取出更复杂更抽象的高层特征+达到一个大卷积核的感受野，但小卷积核的计算参数和计算量较少)。

（3）ResNet：添加恒等映射层(高层特征和低层特征融合，解决了网路训练时梯度消失的问题。因为层越多提取的信息就越丰富，但层多也容易梯度消失)

轻量型网络

神经网络需要高强度计算，在小型嵌入式系统中对网络模型进行部署，常见的方法：

（1）先在服务器上部署模型，服务器完成计算后结果返回本地应用————特点：高度依赖网络环境

（2）压缩大型经典分类网络模型，减少模型运算的参数数量————常用的模型压缩方式：权值剪枝、模型量化

MobileNet：为移动端或嵌入式设备研发的。使用深度可分离卷积把卷积操作分为Depthwise和Pointwise两部分(深度可分离卷积计算量比传统卷积少8-9倍。缺：模型准确率受损)

SqueezeNet：在AlexNet网络基础上扩展而来，但比AlexNet模型的参数小50倍。

不平衡数据分类

描述：训练样本数据中，各类样本数据不平衡，模型不能从少数的类别样本中学习到足够的信息，影响模型准确率和泛化能力。

解决：（1）从数据层面改善————直接对训练样本数据进行调整；使用采样的方法来增加少数类别的样本数量或减少多数类别的样本数量，从而使每类的分布达到均衡

①少数类别的样本上采样——重复的从少数类别的训练样本中选择数据并输入到网络中——随机均匀上采样：随机获取训练样本中部分数据，进行样本复制，然后作为新的样本添加到该类别样本的训练集中——缺：模型缺少泛化能力——解决：SMOTE
SMOTE：是把距离相近的训练样本当做是同一种类别的样本，首先在少数类别的样本中选择一个样本数据，然后使用K近邻的思想在多个K近邻样本中随机选择一个样本数据，且这个样本也是属于少数类别的。对于这两个样本数据，在它们之间随机选择一点，作为一个新的少数类样本，从而使数据集达到平衡。

②多数类别的样本下采样——减少多数类别的训练样本

③结合前两种进行混合采样——同时在少类别样本和多类别样本上采样

（2）从算法角度解决————算法角度中，让每个类别在模型训练时获得同等关注
①阈值分类调整法：只需要设定每个类别的分类阈值，输出的结果满足相应的阈值要求即为相应的类别。
②GMBoost：是一种集成学习方法，是基于SMOTEBoost 改进得出的，该方法的核心是在训练弱分类器时，不再使用错误率更新弱分类器权重和样本权重,而是使用几何平均值G-mean代替。③SMOTEBoostSVM：是基于SMOTEBoost算法思想提出的，该方法先根据数据不平衡的比例将多数类别样本划分为多个子数据集,每个多数类别子数据集和少数类别数据集共同作为训练样本，使用 Adaboost训练子分类器。然后筛选出子分类器分类结果不同的样本生成候选的训练集样本，再用代价敏感的SVM分类器学习训练候选样本。
④对损失函数进行修改——李正欣对于二分类情况下的不平衡问题研究出两种损失函数的改进方式，让模型可以更加关注少数类别的训练样本
⑤Haveai提出对模型进行两阶段训练的方法，先在平衡的样本上训练，在将训练好的模型在不平衡的样本上训练，然后对网络的最后一层进行微调