有没有做卡商的网站,wordpress 好慢哪,深圳办公室装修设计,如何在路由器上做网站转跳1.M-P神经元
M-P神经元#xff0c;全称为McCulloch-Pitts神经元#xff0c;是一种数学模型#xff0c;用于模拟生物神经元的功能。这个模型是由Warren McCulloch和Walter Pitts在1943年提出的。它是人工智能和计算神经科学领域中非常重要的早期模型。 M-P神经元接收n个输入…1.M-P神经元
M-P神经元全称为McCulloch-Pitts神经元是一种数学模型用于模拟生物神经元的功能。这个模型是由Warren McCulloch和Walter Pitts在1943年提出的。它是人工智能和计算神经科学领域中非常重要的早期模型。 M-P神经元接收n个输入通常来自其他神经元并给各个输入赋予权重计算加权和然后和自身特有的阈值 θ \theta θ进行比较作减法最后经过激活函数模拟“抑制”和“激活”处理得到输出通常是给下一个神经元 y f ( ∑ i 1 n w i x i − θ ) f ( w T x b ) yf(\sum_{i1}^nw_ix_i-\theta)f(w^Txb) yf(i1∑nwixi−θ)f(wTxb) 单个M-P神经元感知机sgn作激活函数、对数几率回归sigmoid作激活函数 多个M-P神经元神经网路
2.感知机分类模型
2.1 sgn函数
sgn 函数或称为符号函数sign function是一个数学函数用于确定一个实数的符号。sgn 函数的定义如下
当x0时sgn(x)1当x0时sgn(x)0当x0时sgn(x)-1 图像如下
2.2 感知机
1模型 其具体公式如下 y s g n ( w T w − θ ) { 1 , w T x − θ 0 0 , w T x − θ 0 ysgn(w^Tw-\theta) \begin{cases} 1 ,{w^Tx-\theta 0}\\ 0 ,{w^Tx-\theta0} \end{cases} ysgn(wTw−θ){10,wTx−θ0,wTx−θ0 其中 x ∈ R N x\in \mathbb{R}^N x∈RN为样本的特征向量是感知机模型的输入 w , θ w,\theta w,θ是感知机模型的参数 w ∈ R n w\in \mathbb{R}^n w∈Rn为权重 θ \theta θ 为阈值
从几何的角度来说给定一个线性可分的数据集T感知机的学习目标是求得能对数据集T中的正负样本完全正确划分的超平面其中 w T x − θ w^Tx-\theta wTx−θ即为超平面方程。 n维空间的超平面 ( w T x b 0 , 其中 w , x ∈ R n ) (w^Txb0,其中w,x \in \mathbb R^n) (wTxb0,其中w,x∈Rn):
超平面方程不唯一法向量w垂直于超平面法向量w和位移项b确定一个唯一超平面法向量w指向的那一半空间为正空间另一半为负空间
缺点 只能解决线性可分的问题 模型图如下所示只包含一个输入层和一个输出层。
2策略 感知机的学习策略是随机初始化 w , b w,b w,b,将全体训练样本带入模型找出误分类样本假设此时误分类样本的集合为 M ⊆ T M\subseteq T M⊆T对任意一个误分类样本 ( x , y ) ∈ M (x,y)\in M (x,y)∈M来说当 w T x − θ 0 w^Tx-\theta 0 wTx−θ0时模型输出值为 y ^ 1 \hat y1 y^1,样本真实标记为y0;繁殖当 w T x − θ 0 w^Tx-\theta0 wTx−θ0时模型输出值为 y ^ \hat y y^0,样本真实标记为y1。综合两种情况可知以下公式恒成立 ( y ^ − y ) ( w T x − θ ) 0 (\hat y-y)(w^Tx-\theta)0 (y^−y)(wTx−θ)0 所以给定数据集T其损失函数可以定义为 L ( w , θ ) ∑ x ∈ M ( y ^ − y ) ( w T x − θ ) L(w,\theta)\sum_{x\in M}(\hat y-y)(w^Tx-\theta) L(w,θ)x∈M∑(y^−y)(wTx−θ) 此时损失函数是非负的。如果没有误分类点损失函数值为0.而且误分类点越少误分类点离超平面越近损失函数值就越小。 损失函数还可以进一步优化将 θ \theta θ并入 w w w向量中成为第n1维0其中x的第n1维恒为-1。那么损失函数进一步简化为 L ( w ) ∑ x ∈ M ( y ^ − y ) w T x L(w)\sum_{x\in M}(\hat y-y)w^Tx L(w)x∈M∑(y^−y)wTx 3算法 当误分类样本集合M固定时可以球的损失函数 L ( w ) L(w) L(w)的梯度为 ∇ w L ( w ) ∑ x i ∈ M ( y ^ i − y i ) x i \nabla_wL(w)\sum_{x_i\in M}(\hat y_i-y_i)x_i ∇wL(w)xi∈M∑(y^i−yi)xi 学习算法具体采用的是随机梯度下降法也即极小化过程中不是一次使M中的所有误分类点的梯度下降而是一次随机选取一个误分类点使其梯度下降。所以权重 w w w的更新公式为 w ← w Δ w w \leftarrow w\Delta w w←wΔw Δ w − η ( y ^ i − y i ) x i η ( y i − y ^ i ) x i \Delta w-\eta(\hat y_i-y_i)x_i\eta(y_i-\hat y_i)x_i Δw−η(y^i−yi)xiη(yi−y^i)xi 其中 η \eta η为学习率,最终解出来的w通常不唯一。 从几何角度方便理解一点如下图所示 可以看到红线和绿线都可以把正负样本分开它们代表了两组 w w w,因此说明解不唯一。
3.神经网络
为了解决线性不可分的数据集其他的当个神经元的模型也可以结局线性不可分的数据集只是感知机不可以提出了由多个神经元构成的神经网络且用通用近似定理可以证明只需一个包含足够多神经元的隐层多层前馈网络最经典的神经网络之一就能以任意精度逼近任意复杂度的连续函数。 优点 既能做回归也能做分类而且不需要复杂的特征工程。 需要考虑的问题
对于具体场景神经网络该做多深多宽没有理论支撑都是实践经验对于具体场景神经网络的结构该如何设计才最合理没有强理论指导对于具体场景神经网络的输出结果该如何解释模型的可解释性可以用来指导特征调整
经典神经网络——多层前馈网络 每层神经元与下一层神经元全互连神经元之间不存在同层连接也不存在跨层连接。 将神经网络NN看作一个特征加工函数 x ∈ R d → N N ( x ) → y x ∗ ∈ R l x\in R^d \rightarrow NN(x) \rightarrow yx^* \in R^l x∈Rd→NN(x)→yx∗∈Rl 回归后面接一个 R l → R R^l \rightarrow R Rl→R的 神经元 y w T x ∗ b yw^Tx^*b ywTx∗b 分类后面接一个 R l → [ 0 , 1 ] R^l \rightarrow [0,1] Rl→[0,1]的神经元例如激活函数为sigmoid函数的神经元 y 1 1 e − ( w T x ∗ b ) y\frac{1}{1e^{-(w^Tx^*b)}} y1e−(wTx∗b)1 神经网络可以自动提取特征不用人为的手工设计特征。 神经网络训练方法——BP算法 在20世纪80年代之前尽管神经网络已经存在一段时间但其实际应用受到了限制主要原因在于无法有效地训练多层神经网络。 在这个背景下1986年David E. Rumelhart, Geoffrey E. Hinton, 和 Ronald J. Williams在他们的论文《Learning representations by back-propagating errors》中提出了反向传播算法。这一算法为多层前馈神经网络的训练提供了一个有效的方法使得神经网络可以在更多复杂问题上展现出强大的表现力。 BP算法是一种基于随机梯度下降的参数更新算法。反向传播算法在处理多层神经网络时通过链式法则有效地计算梯度而随机梯度下降则用于基于这些梯度更新权重。反向传播算法与随机梯度下降相辅相成共同实现了多层神经网络的高效训练。 下面是以输入层第i个神经元与隐层第h个神经元之间的连接全 v i h v_{ih} vih为例推导一下 损失函数 E k 1 2 ∑ j 1 l ( y ^ j k − y j k ) 2 E_k\frac12\sum^l_{j1}(\hat y^k_j-y^k_j)^2 Ek21j1∑l(y^jk−yjk)2 Δ v i h − η ∂ E k ∂ v i h \Delta v_{ih}-\eta \frac{\partial{E_k}}{\partial{v_{ih}}} Δvih−η∂vih∂Ek 用链式求导得到 ∂ E k ∂ v i h ∑ j 1 l ∂ E k ∂ y ^ j k ∗ ∂ y ^ j k ∂ β j ∗ ∂ β j ∂ b h ∗ ∂ b h ∂ α h ∗ ∂ α h ∂ v i h \frac{\partial{E_k}}{\partial{v_{ih}}}\sum^l_{j1}\frac{\partial{E_k}}{\partial{\hat y^k_j}}*\frac{\partial{\hat y^k_j}}{\partial{\beta_j }}*\frac{\partial{\beta_j }}{\partial{b_h}}*\frac{\partial{b_h}}{\partial{\alpha_h}}*\frac{\partial{\alpha_h}}{\partial{v_{ih}}} ∂vih∂Ekj1∑l∂y^jk∂Ek∗∂βj∂y^jk∗∂bh∂βj∗∂αh∂bh∗∂vih∂αh
