网站开发 招标采购参数,微信公众号运营团队,网站怎么做一级域名跳转,有没有做外贸的网站啊政安晨的个人主页#xff1a;政安晨 欢迎 #x1f44d;点赞✍评论⭐收藏 收录专栏: 政安晨的机器学习笔记 希望政安晨的博客能够对您有所裨益#xff0c;如有不足之处#xff0c;欢迎在评论区提出指正#xff01; 与计算机一样的古老历史 神经网络的出现可追溯到20世纪40年… 政安晨的个人主页政安晨 欢迎 点赞✍评论⭐收藏 收录专栏: 政安晨的机器学习笔记 希望政安晨的博客能够对您有所裨益如有不足之处欢迎在评论区提出指正 与计算机一样的古老历史 神经网络的出现可追溯到20世纪40年代因此其有相当长的发展历史。 咱们将介绍神经网络的发展历史因为你需要了解一些术语。 激活函数是其中一个很好的例子它可以缩放神经网络中神经元的值。 阈值激活函数是研究人员引入了神经网络时的早期选择而后S型激活函数、双曲正切激活函数、修正线性单元Rectified Linear UnitReLU激活函数等相继被提出。 虽然目前大多数文献都建议仅使用ReLU激活函数但你需要了解S型激活函数和双曲正切激活函数才能理解ReLU激活函数的优势。 在神经网络的发展历程中神经网络曾几次从灰烬中重生。
McCulloch W.和Pitts W.1943首先提出了神经网络的概念。但是他们没有方法来训练这些神经网络。程序员必须手工制作这些早期神经网络的权重矩阵。由于这个过程很烦琐因此神经网络首次被弃用了。
Rosenblatt F.1958提出了一种训练算法即反向传播算法该算法可自动创建神经网络的权重矩阵。实际上反向传播算法有许多神经元层可模拟动物大脑的结构但是反向传播算法的速度很慢并且会随着层数的增加变得更慢。从20世纪80年代到20世纪90年代初期计算能力的增加似乎有助于神经网络执行任务但这个时代的硬件和训练算法无法有效地训练多层神经网络神经网络又一次被弃用了。
神经网络的再次兴起是因为Hinton G.2006提出了一种全新的深度神经网络训练算法。高速图形处理单元Graphics Processing UnitGPU的最新进展使程序员可以训练具有三层或更多层的神经网络。程序员逐步意识到深层神经网络的好处从而促使该技术重新流行。
咱们这个系列的文章将从分析经典的神经网络开始这些经典的神经网络对各种任务仍然有用。
我们的分析包括一些概念如自组织映射Self-Organizing MapSOM、霍普菲尔德神经网络Hopfield neural network和玻尔兹曼机Boltzmann machine。
咱们应该还会涉及前馈神经网络FeedForward Neural NetworkFFNN展示几种训练它的方法。当然您已经猜到了具有许多层的前馈神经网络变成了深度神经网络。其它还有如如随机Dropout、正则化和卷积等。 知识背景
大多数行业外的人都认为神经网络是一种人工大脑。根据这种观点神经网络可以驱动机器人或与人类进行智能对话但是与神经网络相比这个概念更接近AI的定义。尽管AI致力于创建真正的智能机器但计算机的当前状态远低于这一目标。人类的智能仍然胜过计算机的智能。
神经网络只是AI的一小部分。正如神经网络目前的样子它们执行的是微小的、高度特定的任务。与人脑不同基于计算机的神经网络不是通用的计算设备。此外术语“神经网络”可能会给人造成困惑因为由大脑神经元构成的网络也被称为神经网络。为了避免这个问题我们必须做出重要的区分。
实际上我们应该将人脑称为生物神经网络Biological Neural NetworkBNN。大多数文章都不会特别区分BNN和人工神经网络Artificial Neural NetworkANN咱们也会这样。当我们提到“神经网络”这个术语时指的是ANN而不是BNN。
BNN和ANN具有一些非常基本的相似性。如BNN启发了ANN的数学构造。生物合理性描述了各种ANN算法。“神经网络”这个术语决定了ANN算法与BNN算法的高度相似性。
程序员设计神经网络来执行一项小任务。完整的应用程序可能会使用神经网络来完成应用程序的某些部分但是整个应用程序不会只实现一个神经网络。它可能由几个神经网络组成每个神经网络都有特定的任务。
模式识别是神经网络可以轻松完成的任务。对于这种任务你可以将一个模式传入神经网络然后它将一个模式传回给你。在最高层面上典型的神经网络只能执行这个功能。尽管某些神经网络可能会取得更大的成就但绝大多数神经网络以这种方式工作。
下图展示了这个层面上的一个神经网络。 上述神经网络接收一个模式并返回一个模式。
神经网络是同步运行的只有在输入后才会输出。这种行为不同于人脑人脑不是同步运行的。人脑对输入做出响应但是它会在任何它愿意的时候产生输出呵呵
神经网络结构
神经网络由一些层组成各层的神经元相似。 大多数神经网络都至少具有输入层和输出层程序将输入模式交给输入层然后输出模式从输出层返回。在输入层和输出层之间是一个黑盒。黑盒是指你不完全了解神经网络为何输出它的结果。现在我们还不关心神经网络或黑盒的内部结构。许多不同的架构定义了输入层和输出层之间的不同交互。 稍后我们将研究其中一些架构。
输入和输出模式都是浮点数数组。用以下方式表示这些数组。 神经网络输入[−0.245, 0.283, 0.0]。 神经网络输出[0.782, 0.543]。 上面的神经网络在输入层中有三个神经元在输出层中有两个神经元。即使重构神经网络的内部结构输入层和输出层中神经元的数量也不会改变。
要利用该神经网络你调整表达问题的方式使得输入是浮点数数组。同样问题的解也必须是浮点数数组。归根结底这种表达是神经网络唯一可以执行的。换言之它们接收一个数组并将其转换为第二个数组。神经网络不会循环不会调用子程序或执行你在传统编程中可能想到的任何其他任务。神经网络只是识别模式。
你可以认为神经网络是传统编程中将键映射到值的哈希表。
它的作用有点像字典。你可以将以下内容视为一种类型的哈希表 ● “hear”→“以耳朵来感知或理解” ● “run”→“比走路更快地前进” ● “write”→“使用工具作为笔在表面上形成形状作为字符或符号”。 该表在单词和它们的定义之间创建了映射。编程语言通常称之为哈希映射或字典。
上述哈希表用字符串类型的键来引用另一个值引用的值也是相同类型的字符串。 如果你以前从未使用过哈希表那么可以将它们理解为将一个值映射到另一个值的一种索引形式。换言之当你为字典提供一个键时它会返回一个值。大多数神经网络都以这种方式工作。 一种名为“双向关联记忆”Bidirectional Associative MemoryBAM的神经网络可让你提供值并给出键。
编程时使用的哈希表包含键和值。可以将传入神经网络输入层的模式视为哈希表的键将从神经网络输出层返回的模式视为哈希表返回的值。尽管类比哈希表和神经网络可以帮助你理解这个概念但是你需要认识到神经网络不仅仅是哈希表。 如果你提供的单词不是映射中的键那么前面的哈希表会发生什么呢 为了回答这个问题我们将输入键“wrote”。对于这个例子哈希表将会返回null。它会以某种方式表明找不到指定的键。但是神经网络不会返回null而是找到最接近的匹配项。它们不仅会寻找最接近的匹配项还会修改输出以估计缺失的值。因此如果你对神经网络输入“wrote”那么很可能会收到输入“write”时期望的结果。你也可能会收到其他键对应的输出因为没有足够的数据供神经网络修改响应。数量有限的样本在这个例子中是3个会导致出现这种结果。 上面的映射提出了关于神经网络的重要观点。如前所述神经网络接收一个浮点数数组并返回另一个数组。这个行为引发了一个问题即如何将字符串或文本值放入神经网络。尽管存在解决方案但对神经网络而言处理数字数据比处理字符串要容易得多。
实际上这个问题揭示了神经网络编程中最困难的一个方面。如何将问题转换为固定长度的浮点数数组
在下面的示例中你将看到神经网络的复杂性。
一个简单的例子 在计算机编程中习惯提供一个“Hello World”应用程序它只是显示文本“Hello World”。 如果你已经阅读过有关神经网络的文章那么肯定会看到使用异或XOR运算符的示例该运算符示例是神经网络编程的一种“Hello World”应用程序。 在后文我们将描述比XOR更复杂的场景但它是一个很好的示例。 我们将从XOR运算符开始把它当作一个哈希表。如果你不熟悉XOR运算符其工作原理类似于AND/OR运算符。 要使AND运算结果为真双方都必须为真 要使OR运算结果为真必须有任何一方为真 要使XOR运算结果为真双方真假必须互不相同。 XOR的真值表如下 用哈希表表示则上述真值表表示如下 这些映射展示了神经网络的输入和理想的预期输出。
训练有监督和无监督
如果指定了理想的输出你就在使用有监督训练
如果没有指定理想的输出你就在使用无监督训练。
有监督训练会让神经网络产生理想的输出无监督训练通常会让神经网络将输入数据放入由输出神经元计数定义的多个组中。
有监督训练和无监督训练都是迭代过程。对于有监督训练每次迭代都会计算实际输出与理想输出的接近程度并将这种接近程度表示为错误百分比。每次迭代都会修改神经网络的内部权重矩阵目的是将错误率降到可接受的低水平。
对于无监督训练计算错误并不容易。由于没有预期的输出因此无法测量无监督的神经网络与理想输出差多少。因为没有理想的输出所以你只是进行固定次数的迭代并尝试训练神经网络。如果神经网络需要更多训练那么程序会提供。
上述训练数据的另一个重要方面在于你可以按任何顺序进行训练。无论哪种训练方式对两个0应用XOR0 XOR 0的结果将为0。并非所有神经网络都具有这种特性。对于XOR运算符我们可能会使用一种名为“前馈神经网络”的神经网络其中训练集的顺序无关紧要。咱们在以后的文章中将研究循环神经网络Recurrent Neural NetworkRNN它确实需要考虑训练数据的顺序。顺序是简单循环神经网络的重要组成部分。
刚才你看到简单的XOR运算符利用了训练数据。
现在我们将分析一种情况它使用了更复杂的训练数据。
每加仑的英里数
通常神经网络问题涉及一些数据你可以利用这些数据来预测后来的数据集的值。在训练了神经网络之后就会得到后来的数据集。神经网络的功能是根据从过去的数据集中学到的知识来预测全新数据集的结果。
考虑一个包含以下字段的汽车数据库 ● 车重指车的质量 ● 发动机排量 ● 气缸数 ● 马力指以马力为单位的功率 ● 混合动力或汽油动力 ● 每加仑的英里数指每消耗1加仑约3.8升燃油可行驶的路程以英里为单位。 尽管我们过度简化了数据但并不影响本示例演示如何格式化数据。
假设你已经针对这些字段收集了一些数据那么你应该能够构建一个神经网络来根据其他字段的值来预测某个字段的值。对于这个示例我们将尝试预测每加仑的英里数。
如前所述我们需要将一个浮点数输入数组映射到浮点数输出数组从而定义这个问题。但是该问题还有一个附加要求即这些数组元素中每一个数字的范围应为01或者−11。这个操作称为归一化。它获取现实世界的数据并将其转换为神经网络可以处理的形式。
首先我们需要确定如何归一化以上数据。请考虑神经网络的架构。
我们共有6个字段要使用其中5个字段来预测剩余的1个字段。
因此神经网络将具有5个输入神经元和1个输出神经元。 你的神经网络类似下面这样 ● 输入神经元1车重。 ● 输入神经元2发动机排量。 ● 输入神经元3气缸数。 ● 输入神经元4马力。 ● 输入神经元5混合动力或汽油动力。 ● 输出神经元1每加仑的英里数。 接着我们还需要归一化数据。为了完成归一化我们必须为这些字段的值都考虑一个合理的范围。然后我们将输入数据转换为01的数字代表该范围内实际值的位置。
考虑以下设置了合理范围的示例 ● 车重1005 000磅约452 268千克。 ● 发动机排量0.110升。 ● 气缸数212。 ● 马力11 000马力约735.57 355 000瓦。 ● 混合动力或汽油动力true或false。 ● 每加仑的英里数1500英里约1.6804.5千米。 考虑到当今的汽车这些范围可能很大但是这个特征将使神经网络的重组最少。我们也希望避免在靠近范围的两端出现太多数据。 为了说明这一范围我们将考虑归一化车重2 000磅约907千克的问题。这在上述车重范围中为1 900即2 000−100而范围的大小为4 900即5000−100范围大小的占比为0.38即1 900/4 900。因此我们会将0.38提供给输入神经元以表示该值。这个过程满足输入神经元01的范围要求。 混合动力或常规动力字段的值为true或false。为了表示该值我们用1表示混合动力用0表示常规动力。我们只需将true或false归一化为1或0两个值即可。 既然你已经了解了神经网络的一些用法现在该确定如何为特定问题选择合适的神经网络了。 在随后的内容中我们提供了各种可用的神经网络路线图。
神经网络路线指引
并不是所有神经网络都适用于每一个问题域。作为神经网络程序员你需要知道针对特定问题使用哪个神经网络。
神经网络类型和问题域 ● 聚类无监督的聚类问题。 ● 回归回归问题神经网络必须根据输入输出数字。 ● 分类分类问题神经网络必须将数据点分为预定义的类别。 ● 预测神经网络必须及时预测事件如金融应用程序的信号。 ● 机器人使用传感器和电机控制的机器人。 ● 视觉计算机视觉Computer VisionCV问题要求计算机理解图像。 ● 优化优化问题要求神经网络找到最佳排序或一组值以实现目标。 勾选标记√的数量给出了每种神经网络类型对该特定问题的适用性。如果没有勾选则说明无法将该神经网络类型应用于该问题域。
所有神经网络都有一些共同的特征如神经元、权重、激活函数和层它们是神经网络的构建块。 这就是您开启咱们这个系列文章的全部背景知识啦。
