…… ｌ删幅ＥＰＲＯＣＥＳＳＩＮＧ＆啊ⅡｌＴ哪ＥⅡ瞻Ｔ＾ＣＩＩＮＯＬＯＧＹ…………………………………… …………………… 卷积神经网络的研究及应用分析 史晓霞，谭立辉 （广东工业大学，广州５ １０００６） 摘要：这几年来，卷积神经网络在计算机视觉方面获得了很多的突破以往的研究成就与结果。它的强大的 特性学习以及分类的本领都在整个领域中得到了各方面的极大地关注，它包含了重要的分析和探究的必要性 的价值。回顾了卷积神经网络的开展过程和相关历史与背景，简单介绍了关于卷积神经的基本构成和运行的 理论，从结构改进、减少过拟合、激活函数的选用这３个方面对卷积神经网络在最近的探究总结以及讨论分 析，归纳了并且通过讨论基于卷积神经网络的相关研究以及在应用领域中的应用，以及取得的最新的研究成 果，指出了卷积神经网络现在阶段存在的缺陷和未来的研究以及应用的方向。 关键词：卷积神经网络；相关研究；应用分析；结构改进；激活函数 近年来，机器学习界的研究人员一直致力于从原始图 野激励所得，它对模型的识别不会受到细微的形状改变、 像得到的特性的学习模型。这些模型通常是非线性的。这 导致深度学习模型的发展。早期的例子玻耳兹曼机， 深层信念网络和堆叠Ａｕｔｏｅｎｃｏｄｅｒｏ］显示在小数据集的运用 的成功。这些模型的主要思想是利用大量的未标记的数据 训练模型。对原始图像进行的操作被称为非监督预训练。 研究人员认为在预处理进行非监督操作有利于后期的监督 任务，提高图像分类的正确率。致力于这些算法在大数据 所在位置和尺寸大小的干扰。它所应用的非监督学习同 时也为卷积神经网络早些年的探究中占有一席之地的学 习方法【ｌＪ。 （２）模型再现时段。ＬｅＣｕｎ等在研究手写数字识别问 题时。首先提出了使用梯度反向传播算法训练的卷积神经 网络模型，并在ＭＮＩＳＴ的手写数字数据集上表现出了相 对于当时其他方法更好的性能『１】Ｉ。梯度反向传播算法和卷 积神经网络的成功给机器学习领域带来了新的希望．开启 了基于统计学习模型的机器学习浪潮，同时也带动了人工 神经网络进入到蓬勃发展的新阶段。目前．卷积神经网络 已成为当前语音分析和图像识别领域的研究热点，它是第 一集规模的运用在２０１２年的ＬＳＶＲＣ竞赛圄达到顶峰。首次基 于卷积神经网络（ＣＮＮ）的深度学习模型的分类错误率是传 统手动方法的一半。Ａｌｅｘ Ｋｒｉｚｈｅｖｓｋｙ等提出的ＡｌｅｘＮｅｔ［３１是一 个８层的卷积神经网络，前５层是卷积层．后３层为全连 接层，其中最后一层采用ｓｏ，ｍａｘ进行分类。该模型采用 个真正意义上的成功训练多层神经网络的学习算法模型。 ＲｅＬＵ来取代传统的Ｓｉｇｍｏｉｄ和ｔａｎｈ函数作为神经元的非线 性激活函数，并提出了Ｄｒｏｐｏｕｔｍ）￣＂法来减轻过拟合问题。这 可以通过执行端到输出端的监督培训，不需要预训练。在 接下来的几年中，使用深层神经网络于图像分类成为计算 机视觉中最具影响力的应用之一。卷积神经网络，一个特 定形式的深度学习模型，已经在计算机视觉被广泛采用。 对于网络的输入是信号时具有更明显的优势。随着深 度学习掀起的新的机器学习热潮．卷积神经网络已经应用 于语音识别、图像识别和自然语音【ｔ１处理等不同的大规模机 器学习问题中。 （３）广为探究时段。２０１２年，Ｋｒｉｚｈｅｖｓｋｙ等人提出 Ａｌｅｘ ｎｅｔｔ３１在较大的图像数据库中的图像的分组类别比赛中 用超过第二１２％的正确率的强大的又是得到了第一的成就， 这一举动使得卷积神经网络得到了整个学术界的着重关注 点。在这之后，就不断地出现新型的卷积神经网络的模型 ｌ 卷积神经网络的探究史和体现的内涵 卷积神经网络在过去市场被搬上探究的提案中．它的 探究史大搞可以分为３个时段：即提出理论时段、模型再 现时段还有广为探究时段 （１）提出理论时段。２０世纪中叶，即６Ｏ年代，Ｈｕｂｅｌ 被展现出来，例如ＶＧＧｔ５１以及Ｇｏ０ｇｌｅＮｅｔ嘲等，这样的一些网 络模型再一次刷新了Ａｌｅｘ Ｎｅｔｔ，刨建的记录结果。而且，卷 等人的生物学范畴的探究表现出视觉传递信息是从视网膜 到大脑中，其中通过了很多层面的感觉野激励实现的。 １９８１年，Ｆｕｃｕｓｈｉｍａ首次提出来一个根据感觉野的理论模 型，Ｎｅｏｃｏｇｎｉｔｒｏｎ。这是一种自由组成的多层次神经网络 作者简介：史晓霞（１９９０一），女，硕士，研究方向：机器 学习；谭立辉，女，博士，副教授，研究方向：时频分析 与信号处理。 收稿日期：２０１６—１１－１４ 模型，每个层次的回应皆是根据前一个层次的区域感觉 ………………………………………………………… 实用第一 智慧密集 … … … 积神经网络也在不断和相关的算法相结合，再有学习方式 迁移的带入．让卷积神经网络的运用范畴得到了更进一步 的拓展 ２卷积神经网络的基础原理 如图１所示经典的卷积神经网络主体是由输人层、 卷积层、下采样图样（池化层）、全连接层还有输出层构 成的 图１传统卷积神经网络结构 卷积神经网络的输入通常为原始图像（ Ｙ０），用ｘ。表 示卷积神经网络第ｉ层的特征图。可得 Ｘ ＝Ｆ（Ｘ／－１＂Ｗ ＋６ ） （１） 其中：ｗ表示第ｉ层卷积核的权值向量；运算符号 “ 代表卷积核与第ｉ—１层图像或者特征图进行卷积操作。 卷积的输出与第ｉ层的偏移向量ｂ；相加，最终通过非线性 的激励函数得到第ｉ层的特征图ｘ．。下采样层通常跟随在 卷积层之后，依据一定的下采样规则对特征图进行下采样。 下采样层的功能主要有两点： （１）对特征图进行降维； （２）在一定程度上保持特征的尺度不变特性。 Ｘ。＝ｓｕｂｓａｍｐｌｉｎｇ（ｘ １） （２） 第一阶段，前向传播：信息从输入层经过逐级的变换， 传送到输出层。这个过程也是网络在完成训练后正常运行 时执行的过程。在此过程中，网络执行的是计算（实际 上就是输入与每层的权值矩阵相点乘，得到最后的输出 结果）： Ｏｐ＝Ｆ （…（Ｆ （Ｆ （ｘ０ｗ．＋ｂｉ）Ｗ ：）…）Ｗ，＋＿ｂ ） （３） 第二阶段．向后传播 ａ）计算实际输出Ｏ 与相应的理想输出Ｙ。的差；ｂ） 按极小化误差的方法反向传播调整权矩阵。 卷积神经网络的训练目标是最小化网络的损失函数Ｌ （ｗ，ｂ）。输入经过前向传导后通过损失函数计算出与期望 值之间的差异，称为“残差”。常见损失函数有均方误差 函数，负对数似然函数等。为了减轻过拟合的问题，最终 的损失函数通常会通过增加Ｌ２范数以控制权值的过拟合， 并且通过参数 控制拟合作用。训练过程中，卷积神经网 络常用的优化方法是梯度下降方法。残差通过梯度下降进 行反向传播，逐层更新卷积神经网络的各个层的可训练参 与 数（ｗ和ｂ）。学习速率参数１１用于控制残差反向传播的 强度 ｊ Ｅ（Ｗ，ｂ）＝Ｌ（ｗ，ｂ）＋－－Ｗ ｆ４、 ，， 一 （５） ， ， ＯＥ（Ｗ，６） 一— 叩— （６） ３卷积神经网络改进 自从２０１２年ＡｌｅｘＮｅｔ的成功之后．出现了各种对ＣＮＮ 的改进。从对下面结构、正则化以及激活函数的改进来看： ３．１结构的改进 卷积神经网络的基本卷积滤波器是底层局部图像块的 一个广义的线性模型。对隐含概念的线性可分实例的提取 效果较好。目前有两种可以提高滤波器特征表示能力的对 卷积层的改进工作 （１）Ｍｉｎ ＬｉｎＩ７１等人更加注意从改进网络结构上来更加特 征的抽象度。他们提出的模型为Ｎｅｔｗｏｒｋ ｉｎ ｎｅｔｗｏｒｋ：ｍｌｐ— ｃｏｎｙ层和全局均值池化是该模型的创新点。ｍｌｐｃｏｎｖ层可以 看成是每个卷积的局部感受野中还包含了一个微型的多层 网络。利用多层ｍｌｐ的微型网络，对每个局部感受野的神 经元进行更加复杂的运算，该模型用一种抽象能力更强的 模型去替换它，从而提升传统ＣＮＮ的表达能力。ＭＬＰ的优 点：非常有效地通用函数近似器，可用ＢＰ算法训练，可以 完美地融合进ＣＮＮ其本身也是一种深度模型，可以特征再 利用。与传统的全连接层不同，模型对每个特征图一整张 图片进行全局均值池化，这样每张特征图都可以得到一个 输出。这样采用均值池化，参数的减少，可以大大减小网 络，避免过拟合，另一方面它有一个特点，每张特征图相 当于一个输出特征。然后这个特征就表示了输出类的特征， 相比传统ＣＮＮ采用的全连接层，不易过拟合，因为全局平 均池化本身就是一种结构性的规则项。 （２）Ｉｎｃｅｐｔｉｏｎ ｍｏｄｕｌｅ：是由ＳｚｅｇｅｄｙＩ￣３等人提出，使用多 种滤波器的大小来捕捉不同大小的不同可视化模式，通过 ｉｎｃｅｐｔｉｏｎ ｍｏｄｕｌｅ接近最理想的稀疏结构。特别地，ｉｎｃｅｐ． ｔｉｏｎ ｍｏｄｕｌｅ由一个池化操作和３种卷积操作组成。的卷积 被放在和的卷积之前作为维度下降模块，在不增加计算复 杂度的情况下增加ＣＮＮ的深度和宽度。这个模型有两个十 分明显的优势：１）基本控制了整个网络之中练习参数的数 目，并且很好地减小了复杂程度；２）不一样尺寸的卷积和 在多尺寸上对同一个特征或是图像都进行了特征的采取， 降低了误差值。在ｉｎｃｅｐｔｉｏｎ ｍｏｄｕｌｅ作用下，网络参数可以 被减少到５百万，远小于ＡｌｅｘＮｅｔｔ６１的６千万。 ……Ｉ删慵ＥＰＲＯＣ畸ＳＩＮＧ＆■ＩＩⅢ■印瞩Ｔ＾ｃＨＮＯＬＯＧＹ………………………………………………………… ３．２正则化 过拟合是很多机器学习的通病。研究学者是用提高网 络的稀疏性和随机性来使得泛化问题得到相应的改善。 （１）Ｈｉｎｔｏｎ等人所提出的Ｄｒｏｐｏｕｔｔ４￣型用在练习进程 中随机的忽视一些较小的比率节点相应，来降低以往的全 连接网络的过拟合的问题，很好地提升了网络的广泛性能 的问题。Ｄｒｏｐｏｕｔ应用在全连接层．其中是特征提取器的输 出．大小是一个全连接的权重矩阵，是一个非线性激活函 数。是一个大小为的ｂｉｎａｒｙ ｍａｓｋ，元素服从伯努利分布 （也叫二项分布），即。Ｄｒｏｐｏｕｔ可以防止网络过于依赖任何 一个神经元，使网络即使在某些信息缺失的情况下也能是 准确的。 （２）Ｄｍｐｃｏｎｎ ａｌｌ２］：将Ｄｒｏｐｏｕｔ的想法更进一步，代替 了其设置神经元的输出为０，而是在前向传导时，输入的 时候随机让一些输入神经元以一定的概率不工作，在ＢＰ训 练时，这些不工作的神经元显然也不会得到误差贡献。此 外，在训练过程中也掩盖了误差。和Ｄｒｏｐｏｕｔ的区别就在 于，Ｄｒｏｐｏｕｔ一个输出不工作，那么这个输出作为下一级输 入时对于下一级就一点都不工作。但是ＤｒｏｐＣｏｎｎｅｃｔ不会。 泛化能力更强一点。 ３．３激活函数的改进 在人工神经网络中。神经元节点的激活函数定义了对 神经元输出的映射，简单来说，神经元的输出，经过激活 函数处理后再作为输出。目前常见的多是分段线性和具有 指数形状的非线性函数。 ０．８ Ｏ．６ ｏ．４／ ｌ ． ． － ＾ 图２ Ｓｉｇｍｏｉｄ函数 …ｌ／厂 一 ：５ １０ ｒ － 图３ Ｔａｎｈ函数 （１）ｓｉｇｍｏｉｄ函数曾经被使用的很多，不过近年来，用 它的人越来越少了。如图２主要是因为ｓｉｇｍｏｉｄ有一个非常 致命的缺点，当输入过大或者过小的时候，这些神经元的 梯度是接近于０的，从图２中可以看出梯度的趋势，这样网 络参数很难得到有效训练。这种现象被称为梯度消失。所 以．需要尤其注意参数的初始值来尽量避免饱和的情况【ｌ】１。 （２）ｔａｎｈ函数。与ｓｉｇｍｏｉｄ函数趋势类似，如图３所示。 （３）除了上述Ｓ型的函数外，ＲｅＬＵｔＳｌ是常用的激活函 数的一种。ＲｅＬＵ激活函数被定义为：，其中是第个通道的 输入，因此ＲｅＬＵ是一个分段线性函数，如图４（ａ）所示。 Ｚ 图４ ＲｅＬＵ在ｘ＜０时硬饱和。由于ｘ＞０时导数为１，所以， ＲｅＬＵ能够在ｘ＞０时保持梯度不衰减，从而缓解梯度消失问 题。但随着训练的推进，部分输入会落入硬饱和区，导致 对应权重无法更新。这种现象被称为“神经元死亡”。但 大量实证研究表明ＲｅＬＵ仍然比ｓｉｇｍｏｉｄ和ｔａｎｈ激活函数效 果更好。针对这一缺点。之后出现了对ＲｅＬＵ激活函数的 改进工作： （４）Ｌｅａｋｙ ＲｅＬＵ（ＬＲｅＬＵ）Ｉｇ］：（如图４（ｂ）所示），其 中是（０，１）之间的一个预定义的参数。与ＲｅＬＵ相比， ＬＲｅＬＵ压缩了负轴部分而不是将它始终映射为０，使得函 数在不活跃单元也具有了较小的非零梯度，从而便于权值 调整。 （５）Ｇｏｏｄ ｆｅｌｌｏｗｔ 等提出模型Ｍａｘｏｕｔ，它是作用于卷积 层的一个激励函数，不同的点在于它仅仅保存神经网络上 一个节点到下一个激励的最大值。而且还证实了这个函数 能够拟合任意的凸函数．在减小参数问题的基础上又增加 了函数的拟合能力。ｍａｘｏｕｔ相当于是网络的激活函数层． 但与传统的Ｓｉｇｍｏｉｄ函数、Ｔａｎｈ函数作为激活函数不同。 Ｍａｘｏｕｔ网络不是一种固定的函数．网络中利用了一种新的 激活函数：Ｍａｘｏｕｔ单元。 假设网络某一层的输入特征向量为：ｘ＝（ｘｌ，ｘ ……， Ｘ ），即为ｄ个神经元。 若使用Ｍａｘｏｕｔ的方法，设置ｍａｘｏｕｔ的参数ｋ＝５。相 当于在每个输出神经元前面又多了一层。这一层有５个神 经元。此时ｍａｘｏｕｔ网络的输出计算公式为： ………………………………………………………… 实用第一 智慧密集 ＺＩ￣－Ｗ１ ｘ＋ｂｌ ｚ２＝ｗ２＊ｘ＋ｂ２ ｚ３＝ｗ３术ｘ＋ｂ３ ｚ４＝ｗ４＊ｘ＋ｂ４ ｚｓ＝ｗｓ＊ｘ＋ｂ５ ｏｕｔ＝ｍａｘ ｚｌ，ｚ２，Ｚ３，Ｚ４，Ｚ５） （７） 在卷积层运用Ｍａｘｏｕｔ单元输出的特征图像可看做对每 个像素点选取ｋ幅候选特征图像中的最大对应点输出而组 成的最终输出。在神经网络中使用Ｍａｘｏｕｔ网络实际上是对 网络进行横向宽度的拓展，通过每层候选单元的数量达到 提高模型拟合能力。在ＭＮＩＳＴ数据中，Ｇｏｏｄｆｅｌｌｏｗ等作者 因Ｍａｘｏｕｔ加上Ｄｒｏｐｏｕｔ的运用获得了０．４５％误辨率。 ４运用 在过去的十几年间，卷积神经网络被广泛地应用在 了各个领域，包括计算机视觉、语音识别、自然语言处 理等Ⅲ： （１）图像分类问题是通过对图像的分析，将图像划归 为若干个类别中的某一种．主要强调对图像整体的语义进 行判定。从２０１０年至今．每年举办的ＩＬＳＶＲＯ １图像分类比 赛是评估图像分类算法的一个重要赛事。它的数据集是 ＩｍａｇｅＮｅｔ的子集，包含上百万张图像，这些图像被划分为 １０００个类别。ＩＬＳＶＲＣ２０１２则是大规模图像分类领域的一 个重要转折点。在这场赛事中，Ａｌｅｘ Ｋｒｉｚｈｅｖｓｋｙ等提出的 ＡｌｅｘＮｅｔ［ 首次将深度学习应用于大规模图像分类，并取得了 １６．４％的错误率。随着ＡｌｅｘＮｅｔ的成功，一些工作对它的性 能进行了改进。两个最具代表性的网络是ＶＧＧＮｅｔｔｚ和 ＧｏｏｇｌｅＮｅｔｔ￣。ＶＧＧＮｅｔ［Ｓ￣将网络深度扩展到ｌ９层并在每个卷 积层使用非常小的滤波器。ＧｏｏｇｌｅＮｅｔｔ￣增加了网络的深度 和宽度，相比于较浅和较窄的网络，在计算需求的适当 增加上实现了显著的质量提升。由微软提出的ＲｅｓＮｅｔ［“ 将ＩｍａｇｅＮｅｔ的图像分类准确度提高到了９６．４％，卷积神经 网络在图像分类领域的迅速发展，不断提升已有数据集的 准确度，也给更加大型的图像应用相关数据库的设计带来 了迫切的需求。 （２）随着一些网络性能的提高，一些运用的复杂度也 跟着提升。还有一些有代表性的探究成果包含：ＫＨＡＮ等 通过使用两个卷积神经网络鉴别学习图像之中的区域特点 和轮廓特点，完成立阴影检测目标；ＷＡＮＧ等人探究了根 据卷积神经网络在图像的识别和更加复杂的场合下的其他 任务之间的相互关联：ＪＩ等则通过３Ｄ卷积神经网络对人的 行动进行了识别。Ｇｕｐｔａ提出深度图像的编码特性能加强 ｃｎｎ学习能力；Ｓｉｍｏｎｙａｎ等人发现最活跃的时空体积的有 效视频表示，把视频分为空间和时间的两种成分，空间成 分以帧的形式捕捉外观像对象出现在视频信息，而时间成 分为在帧捕获的运动对象的行为，这种方法模型识别系 统分为两个平行流；启发于从图像目标检测中的最新进 展，Ｇｋｉｏｘａｒ从使用ｃｎｎ从图像建议和选择他们的运动凸子 集和提取ｓａｐｔｉｏ—ｔｅｍｐｏｒａｌ特性代表了视频…］。卷积神经网 络的各项能力和构造还是处于快速发展的过程，与它相 关的一些较为复杂的运用在以后的一段时间里都会有持 续的热度。 （３）根据学习的迁移方法和网络构造的跟进，卷积神 经网络渐渐变成一个通用的特点的采取和模式识别工具． 它的运用范围已经超出了以往计算机视觉领域，比如之前 大热的阿尔法ＧＯｔ 成功地利用卷积神经网络对为棋盘的形 势进行分析，这点证实了卷积神经网络在人工智能方面的 运用成就。这只是其中一个例子，表现了卷积神经网络作 为一个通用的特色表达的工具在更加广阔的范畴中的研究 的价值。 ５卷积网络的缺点和发展的方向 当前，卷积神经网络在有非常高的研究态势，但是还 是会有一些缺陷和发展方向，包括以下： （１）完整的数学 解说和理论支持是卷积神经网络开展过程中始终无法忽视 的问题，目前理论仍然是比较落后的。相关的理论研究对 于卷积神经网络有着十分紧要的意义。 （２）它的构造研究 还有很大的空间可以开拓。当前的成果表明，如果只是简 单地增加网络的复杂度的话，会遇到很多的问题，所以卷 积神经网络的网络性能的提高还要有更加合理化的构造设 计。 （３）卷积神经网络的参数很多，需要多次的实际验证 和大量的分析 这是它需要解决的一个难题。 （４）学习的 迁移方法的运用，使得卷积神经网络有更大的范畴发展， 而新的端到端的模型的设计，则对提高网络的实时性有着 很大的作用。 ６结语 对于卷积神经网络的由历史的背景及其发展和方向都 做了分析，也简单地介绍了他的一些相关的研究改进和成 功。卷积神经网络虽然已然有着许多的问题，但是对于它 的研究还是有着很大可能性。 参考文献 ［１】Ｇｕ Ｊ，Ｗａｎｇ Ｚ，Ｋｕｅｎ Ｊ，ｅｔ ａ１．Ｒｅｃｅｎｔ Ａｄｖａｎｃｅｓ ｉｎ Ｃｏｎｖｏ－ ｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ【Ｊ】．Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，２０１５． 【２１ Ｒｕｓｓａｋｏｖｓｋｙ，Ｏ．，Ｄｅｎｇ，Ｊ．，Ｓｕ，Ｈ．，Ｋｒａｕｓｅ，Ｊ．，Ｓａｔｈｅｅｓｈ，Ｓ．， Ｍａ，Ｓ．，Ｈｕａｎｇ，Ｚ．，Ｋａｒｐａｔｈｙ…Ａ Ｋｈｏｓｌａ，Ａ．，Ｂｅｍｓｔｅｉｎ，Ｍ．， Ｂｅｒｇ，Ａ．，ａｎｄ Ｆｅｉ—Ｆｅｉ，Ｌ．（２０１５）．Ｉｍａｇｅｎｅｔ ｌａｒｇｅ ｓｃａｌｅ ｖｉｓｕａｌ ｒｅｃｏｇｎｉｔｉｏｎ ｃｈａｌｌｅｎｇｅ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍ－ ｐｕｔｅｒ Ｖｉｓｉｏｎ，１ １５（３）：２１ １－２５２． …… Ｉ删舱ＥＰＲＯＣＥＳＳＩＮＧ＆■ＩＩⅢＭＥＤ瞩珊ＨＮＯＬＯＧＹ…………………………………… ……………………一 ａｒＸｉｖ：１４０９．４８４２． 【３】Ｋｒｉｚｈｅｖｓｋｙ，Ａ．，Ｓｕｔｓｋｅｖｅｒ，Ｉ．，ａｎｄ Ｈｉｎｔｏｎ，Ｇ．Ｅ．（２０１２）． Ｉｍａｇｅｎｅｔ ｃｌａｓｓｉｉｆｃａｔｉｏｎ ｗｉｔｈ ｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔ— 【７】Ｌｉｎ Ｍ，Ｃｈｅｎ Ｑ，Ｙａｎ Ｓ．Ｎｅｔｗｏｒｋ Ｉｎ Ｎｅｔｗｏｒｋ［ＪＪ．Ｃｏｍｐｕｔ］— ｅｒ Ｓｃｉｅｎｃｅ，２０１３． ｗｏｒｋｓ．Ｉｎ Ｐｅｒｅｉｒａ，Ｆ．，Ｂｕｒｇｅｓ，Ｃ．，Ｂｏｔｔｏｕ，Ｌ．，ａｎｄ Ｗｅｉｎ— ｂｅｒｇｅｒ，Ｋ．，ｅｄｉｔｏｒｓ，Ａｄｖａｎｃｅｓ ｉｎＮｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏ－ ｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２５，ｐａｇｅｓ １０９７—１ １０５．Ｃｕｒｒａｎ Ａｓｓｏｃｉａｔｅｓ， Ｉｎｃ． ［８】Ｎａｉｒ Ｖ，Ｈｉｎｔｏｎ Ｇ Ｅ．Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ Ｉｍｐｒｏｖｅ Ｒｅ－ ｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅｓ Ｖｉｎｏｄ Ｎａｉｒ［Ｃ】／／Ｉｎｔｅｍａ— ｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ．２０１０：８０７—８ １４． 【４】Ｈｉｎｔｏｎ，Ｇ．Ｅ．，Ｓｒｉｖａｓｔａｖａ，Ｎ．，Ｋｒｉｚｈｅｖｓｋｙ，Ａ．，Ｓｕｔｓｋｅｖｅｒ…Ｉ ａｎｄ Ｓａｌａｋｈｕｔｄｉｎｏｖ，Ｒ．Ｒ．（２０１２）．Ｉｍｐｒｏｖｉｎｇ ｎｅｕｒｌａ ｎｅｔ— ｗｏｒｋｓ ｂｙ ｐｒｅｖｅｎｔｉｎｇ ｃ ｏ—ａｄａｐｔ￣ｉｏｎ ｏｆ ｆｅａｔｕｒｅ ｄｅｔｅｃｔｏｒｓ． ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１２０７．０５８０． 【９】Ａ．Ｌ．Ｍａａｓ，Ａ．Ｙ．Ｈａｎｎｕｎ，ａｎｄ Ａ．Ｙ．Ｎｇ．Ｒｅｃｔｉｉｆｅｒ ｎｏｎ— ｌｉｎｅａｒｉｔｉｅｓｉｍｐｒｏｖｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｃｏｕｓｔｉｃ ｍｏｄｅｌｓ【Ｃ】／／ｉｎ ＩＣＭＬ．２０１３． 【１０］ＧｏｏｄｆｅＨｏｗ，Ｉ．Ｊ．，Ｗａｒｄｅ－Ｆａｒｌｅｙ，Ｄ．，Ｍｉｒｚａ，Ｍ．，Ｃｏｕｒｖｉｌｌｅ， Ａ．，ａｎｄ Ｂｅｎｇｉｏ，Ｙ．（２０１３）．Ｍａｘｏｕｔ ｎｅｔｗｏｒｋｓ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１３０２．４３８９． ［５】Ｓｉｍｏｎｙａｎ，Ｋ．ａｎｄ Ｚｉｓｓｅｒｍａｎ，Ａ．（２０１４ｂ）．ｖｅｒｙ ｄｅｅｐ ｃｏｎ－ ｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓｆｏｒｌａｒｇｅ——ｓｃａｌｅ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１４０９．１５５６． ［１１】Ｓｕ ｒａｊ Ｓ，Ｒａｖｉ Ｋ Ｓ，Ｋｏｎｄａ Ｒ Ｍ，ｅｔ ａ１．Ａ Ｔａｘｏｎｏｍｙ ｏｆ Ｄｅｅｐ 【６】Ｓｚｅｇｅｄｙ，Ｃ．，Ｌｉｕ，Ｗ．，Ｊｉａ，Ｙ．，Ｓｅｒｍａｎｅｔ，Ｐ．，Ｒｅｅｄ，Ｓ．， Ａｎｇｕｅｌｏｖ，Ｄ．，Ｅｔｈａｎ，Ｄ．，Ｖａｎｈｏｕｃｋｅ，Ｖ．，ａｎｄ Ｒａｂｉｎｏｖｉｃｈ， Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒｌａ Ｎｅｔｓ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（２０１６）． ａｒＸｉｖ：】６０】．０６６】５． Ａ．（２０１４）．Ｇｏｉｎｇ ｄｅｅｐｅｒ ｗｉｔｈ ｃｏｎｖｏｌｕｔｉｏｎｓ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ （上接第７４页） 多种竞争过程中更具有主动性。未来的发展中，网络广播 电台需要立足实际，打造出精品化的节目，让服务得到增 值，并且也让广播和自媒体之间能够很好地结合在一起， 促进此项事业向着更好的方向发展。 ３．３类型化和碎片化 ４结语 对自媒体化网络广播电台“云传播”进行了分析和研 究。云传播主要是在网络基础上形成和发展起来的，包含 了云计算、云储存还有云服务方面的诸多内容。这样就 极大地实现了人际之间的传播和群体之间的传播，在以 后的发展中网络电台还需要依托于云传播探索出更多的 发展路径。 伴随着现代社会的多样化发展，人们生活节奏的加快， 很多多媒体技术终端出现，人们获取信息的渠道也被增加。 广播用户在时间的掌握上开始出现了碎片化的样式。人们 在忙碌的生活中不希望在某个固定的时间收听广播。只是 参考文献 【１】童云． “互联网＋”时代广播电台运营模式探析【Ｊ］． 忙碌之余打开广播，收听节目，以此得到更大的放松。因 此在以后的年轻群体受众中，网络广播电台走向碎片化以 及类型化也是一种趋势所在翻 现代传播，２０１６，３８（２）：１６２—１６３． 【２］辛威．广播电台全媒体新架构［Ｊ］．广播与电视技术， ２０１４，４１（８）：４９—５２． 址 ．（上接第６９页） 行企业的传播与销售，将企业的产品推向一个更大的经济 市场与交易市场。 页面的使用了包含页面的＜！一＃ｉｎｃｌｕｄｅ ｆｉｌｅ＝”ｔｏｐ．ａｓｐ”一＞ 和＜！一＃ｉｎｃｌｕｄｅ ｆｉｌｅ＝”ｆｏｏｔ”一＞，这样要修改网站导航条 和底部的信息时，只需要修改一个页面就可以将整个网站 参考文献 ［１】马骏，等．网页设计与网站开发，人民邮电出版社． 全部修改好，这样提高了工作效率节省了时间，达到了事 半功倍的效果。 ［２】耿跃鹰，等． 《网页制作与网站开发》从入门到精通， 清华大学出版社． ４结语 介绍了制作了一个标准的企业网站制作技术．通过本 ［３】伍福军，等．Ｆｌａｓｈ８．０动画设计案例教程．北京大学出 版社． 网站，可以了解企业的简介，产品样子和信息，以及联系 方式，可以说企业网站将是一个很好的展现和推广自己企 业的舞台，可以更大的拓宽企业的视野以及交际范围，进 ［４］汪可．（Ａｄｏｂｅ ｐｈｏｔｏｓｈｏｐ ｃｓ２））标准教材．人民邮电出 版社．
