一文带你了解卷积神经网络CNN的发展史 - 机器之心

本文主要介绍了一些CNN的历史进展。

... 卷积 神经网络 （Convolutional Neural Network, CNN）是一种 前馈 神经网络 ，它的人工 神经元 可以响应 ... AutoByte专注未来出行及智能汽车科技微信扫一扫获取更多资讯ScienceAI关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展微信扫一扫获取更多资讯AMiner学术头条原创2019/05/2710:54邹旭唐杰作者一文带你了解卷积神经网络CNN的发展史卷积神经网络（ConvolutionalNeuralNetwork,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。

卷积神经网络由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（poolinglayer）。

这一结构使得卷积神经网络能够利用输入数据的二维结构。

与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果。

这一模型也可以使用反向传播算法进行训练。

相比较其他深度、前馈神经网络，卷积神经网络需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。

本文主要介绍了一些CNN的历史进展。

1962年Hubel和Wiesel卷积神经网络的发展，最早可以追溯到1962年，Hubel和Wiesel对猫大脑中的视觉系统的研究。

Hubel和Wiesel（图片来源：harvardbraintour）20世纪60年代初，DavidHubel和TorstenWiesel从约翰霍普金斯大学和StevenKuffler一起来到哈佛大学，在哈佛医学院建立了神经生物学系。

他们们在论文《Receptivefields,binocularinteractionandfunctionalarchitectureinthecat'svisualcortex》中提出了Receptivefields的概念，因其在视觉系统中信息处理方面的杰出贡献，他们在1981年获得了诺贝尔生理学或医学奖。

Hubel和Wiesel记录了猫脑中各个神经元的电活动。

他们使用幻灯机向猫展示特定的模式，并指出特定的模式刺激了大脑特定部位的活动。

这种单神经元记录是当时的一项创新，由Hubel早期发明的特殊记录电极实现，他们通过这些实验系统地创建了视觉皮层的地图。

论文地址：https://www.aminer.cn/archive/receptive-fields-binocular-interaction-and-functional-architecture-in-the-cat-s-visual-cortex/55a5761e612c6b12ab1cc9461980年福岛邦彦1980年，日本科学家福岛邦彦在论文《Neocognitron:Aself-organizingneuralnetworkmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition》提出了一个包含卷积层、池化层的神经网络结构。

老人家现在已经退休了，被誉为“八十多岁仍在奋斗的全球人工智能专家”。

除了后来发展出卷积神经网络的Neurocognition（认知控制），现在深度学习中开始热闹起来的Attention（注意力）网络背后也有他的身影，他也在上世纪80年就提出过Attention概念和网络。

1998年YannLecun1998年，在这个基础上，YannLecun在论文《Gradient-BasedLearningAppliedtoDocumentRecognition》中提出了LeNet-5，将BP算法应用到这个神经网络结构的训练上，就形成了当代卷积神经网络的雏形。

(图片来源：Forbes）原始的CNN效果并不算好，而且训练也非常困难。

虽然也在阅读支票、识别数字之类的任务上很有效果，但由于在一般的实际任务中表现不如SVM、Boosting等算法好，一直处于学术界边缘的地位。

论文地址：https://www.aminer.cn/archive/gradient-based-learning-applied-to-document-recognition/53e9b85bb7602d970441f6c22012年Hinton组直到2012年，Imagenet图像识别大赛中，Hinton组的论文《ImageNetClassificationwithDeepConvolutionalNeuralNetworks》中提到的Alexnet引入了全新的深层结构和dropout方法，一下子把errorrate从25%以上提升到了15%，颠覆了图像识别领域。

Alexnet有很多创新点，但现在看来是一项非常简陋的工作。

他主要是让人们意识到原来那个福岛邦彦提出，YannLecun优化的Lenet结构是有很大改进空间的；只要通过一些方法能够加深这个网络到8层左右，让网络表达能力提升，就能得到出人意料的好结果。

论文地址：https://www.aminer.cn/archive/imagenet-classification-with-deep-convolutional-neural-networks/53e9a281b7602d9702b88a98顺着Alexnet的思想，Lecun组2013年提出一个Dropconnect，把errorrate提升到了11%。

而NUS的颜水成组则提出了NetworkinNetwork，NIN的思想是CNN原来的结构是完全可变的，然后加入了一个1*1conv层，NIN的应用也得到了2014年Imagine另一个挑战——图像检测的冠军。

NetworkinNetwork的思想是CNN结构可以大胆去变化，由此，Inception和VGG在2014年把网络加深到了20层左右，图像识别的errorrate也大幅提升到6.7%，接近人类的5.1%。

2015年，MSRA的任少卿、何凯明、孙剑等人，尝试把identity加入到神经网络中。

最简单的Identity却出人意料的有效，直接使CNN能够深化到152层、1202层等，errorrate也降到了3.6%。

后来，ResNeXt,Residual-Attention，DenseNet，SENet等也各有贡献，各自引入了Groupconvolution，Attention，Denseconnection，channelwise-attention等，最终Imagenet上errorrate降到了2.2%，完爆人类。

现在，即使手机上的神经网络，也能达到超过人类的水平。

而另一个挑战——图像检测中，也是任少卿、何凯明、孙剑等优化了原先的R-CNN,fastR-CNN等通过其他方法提出regionproposal,然后用CNN去判断是否是object的方法，提出了fasterR-CNN。

FasterR-CNN的主要贡献是使用和图像识别相同的CNNfeature，发现那个feature不仅可以识别图片是什么东西，还可以用来识别图片在哪个位置！也就是说，CNN的feature非常有用，包含了大量的信息，可以同时用来做不同的task。

这个创新一下子把图像检测的MAP也翻倍了。

在短短的4年中，Imagenet图像检测的MAP从最初的0.22达到了最终的0.73。

何凯明后来还提出了MaskR-CNN,给fasterR-CNN又加了一个maskhead。

即使只在train中使用maskhead，但maskhead的信息传递回了原先的CNNfeature中，因此使得原先的feature包含更精细的信息。

由此，MaskR-CNN得到了更好的结果。

何凯明在2009年时候就以一个简单有效的去雾算法得到了CVPRbestpaper，在计算机视觉领域声名鹊起。

后来更是提出了Resnet和FasterR-CNN两大创新，直接颠覆了整个计算机视觉/机器学习领域。

前些年有很多质疑说高考选拔出的不是人才，几十年几千个状元“没有一个取得成就”。

而何凯明正是2003年的广东理科状元，Densenet的共同一作刘壮是2013年安徽省的状元，质疑者对这些却又视而不见了。

CNN结构越来越复杂，于是谷歌提出了Nasnet来自动用ReinforcementLearning去search一个优化的结构。

Nas是目前CV界一个主流的方向，自动寻找出最好的结构，以及给定参数数量/运算量下最好的结构（这样就可以应用于手机），是目前图像识别的发展方向。

但何凯明前几天（2019年4月）又发表了一篇论文，表示其实random生成的网络连接结构只要按某些比较好的random方法，都会取得非常好的效果，比标准的好很多。

Random和Nas哪个是真的正确的道路，这就有待研究了。

正由于CNN的发展，才引发其他领域很多变革。

利用CNN，AlphaGo战胜了李世石，攻破了围棋。

但基础版本的AlphaGo其实和人类高手比起来是有胜有负的。

但利用了Resnet和Faster-RCNN的思想，一年后的Master则完虐了所有人类围棋高手，达到神一般的境界，人类棋手毫无胜机。

后来又有很多复现的开源围棋AI，每一个都能用不大的计算量吊打所有的人类高手。

以至于现在人们讲棋的时候，都是按着AI的胜率来讲了。

AI的出现也打脸了很多”古今无类之妙手“，人们称颂了几百年的丈和、秀荣妙手，在当下的AI看来，反而是大恶手。

而有些默默无闻，人们都认为下的不好的棋，反而在AI分析后大放异彩了。

AMiner学术头条AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。

系统2006年上线，吸引了全球220个国家/地区800多万独立IP访问，数据下载量230万次，年度访问量1000万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/入门卷积神经网络131相关数据任少卿人物任少卿，Momenta公司研发总监，毕业于中国科技大学与微软亚洲研究院联合培养博士班，曾参与提出适用于物体检测的高效框架FasterRCNN和图像识别算法ResNet，后者相关论文于2016年获得计算机视觉领域顶级会议CVPR的BestPaperAward。

相关技术基于区域的卷积神经网络来源：个人主页Ren,S.颜水成人物颜水成，新加坡国立大学副教授、360集团副总裁、人工智能研究院院长、第十三批国家"千人计划"专家。

颜水成的主要研究领域包括计算机视觉、深度学习、信息检索应用与多媒体分析。

他带领的团队曾提出的“NetworkinNetwork”，对深度学习产生了很大的推动力，同时他的团队开发的”Purine”是全球第一个开源的支持多机多GPU的深度学习系统。

来源：个人主页ShuichengYan孙剑人物孙剑，男，前微软亚研院首席研究员，现任北京旷视科技有限公司（Face++）首席科学家、旷视研究院院长。

自2002年以来在CVPR,ICCV,SIGGRAPH,PAMI等顶级学术会议和期刊上发表学术论文100余篇，两次获得CVPR最佳论文奖(2009,2016)。

孙剑博士带领的团队于2015年获得图像识别国际大赛五项冠军(ImageNet分类，检测和定位，MSCOCO检测和分割)，其团队开发出来的“深度残差网络”和“基于区域的快速物体检测”技术已经被广泛应用在学术和工业界。

来源：个人页面百度百科Sun,J深度学习技术深度学习（deeplearning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun,Y.,Bengio,Y.,&Hinton,G.(2015).Deeplearning.nature,521(7553),436.池化技术池化（Pooling）是卷积神经网络中的一个重要的概念，它实际上是一种形式的降采样。

有多种不同形式的非线性池化函数，而其中“最大池化（Maxpooling）”是最为常见的。

它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。

直觉上，这种机制能够有效的原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。

池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。

通常来说，CNN的卷积层之间都会周期性地插入池化层。

来源：cs231n权重技术线性模型中特征的系数，或深度网络中的边。

训练线性模型的目标是确定每个特征的理想权重。

如果权重为0，则相应的特征对模型来说没有任何贡献。

来源：GoogleAIGlossary机器学习技术机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。

机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。

因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。

算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell,T.(1997).MachineLearning.McGrawHill.VGG技术2014年，牛津大学提出了另一种深度卷积网络VGG-Net，它相比于AlexNet有更小的卷积核和更深的层级。

AlexNet前面几层用了11×11和5×5的卷积核以在图像上获取更大的感受野，而VGG采用更小的卷积核与更深的网络提升参数效率。

VGG-Net的泛化性能较好，常用于图像特征的抽取目标检测候选框生成等。

VGG最大的问题就在于参数数量，VGG-19基本上是参数量最多的卷积网络架构。

VGG-Net的参数主要出现在后面两个全连接层，每一层都有4096个神经元，可想而至这之间的参数会有多么庞大。

来源：7大类深度CNN架构创新综述人工智能技术在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligentagent）来源：Russell,S.,&Norvig,P.(2003).ArtificialIntelligence:AModernApproach.参数技术在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科计算机视觉技术计算机视觉（CV）是指机器感知环境的能力。

这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。

目标识别和面部识别也是很重要的研究领域。

来源：机器之心LeNet技术LeNet诞生于1994年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。

自从1988年开始，在许多次成功的迭代后，这项由YannLeCun完成的开拓性成果被命名为LeNet5。

LeNet5的架构基于这样的观点：（尤其是）图像的特征分布在整张图像上，以及带有可学习参数的卷积是一种用少量参数在多个位置上提取相似特征的有效方式。

在那时候，没有GPU帮助训练，甚至CPU的速度也很慢。

因此，能够保存参数以及计算过程是一个关键进展。

这和将每个像素用作一个大型多层神经网络的单独输入相反。

LeNet5阐述了那些像素不应该被使用在第一层，因为图像具有很强的空间相关性，而使用图像中独立的像素作为不同的输入特征则利用不到这些相关性。

来源：LeCun,Y.,Bottou,L.,Bengio,Y.,&Haffner,P.(1998).Gradient-basedlearningappliedtodocumentrecognition.ProceedingsoftheIEEE,86(11),2278-2324.神经网络技术（人工）神经网络是一种起源于20世纪50年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。

这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。

神经网络模型通常是通过反向传播算法应用梯度下降训练的。

目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中RNN又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。

深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。

尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心反向传播算法技术反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。

该方法计算对网络中所有权重计算损失函数的梯度。

这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。

在神经网络上执行梯度下降法的主要算法。

该算法会先按前向传播方式计算（并缓存）每个节点的输出值，然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

来源：维基百科GoogleMLglossary卷积神经网络技术卷积神经网路（ConvolutionalNeuralNetwork,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。

卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（poolinglayer）。

这一结构使得卷积神经网路能够利用输入数据的二维结构。

与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。

这一模型也可以使用反向传播算法进行训练。

相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。

卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。

例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow,I.;BengioY.;CourvilleA.(2016).DeepLearning.MITPress.维基百科神经元技术（人工）神经元是一个类比于生物神经元的数学计算模型，是神经网络的基本组成单元。

对于生物神经网络，每个神经元与其他神经元相连，当它“兴奋”时会向相连的神经元发送化学物质，从而改变这些神经元的电位；神经元的“兴奋”由其电位决定，当它的电位超过一个“阈值”（threshold）便会被激活，亦即“兴奋”。

目前最常见的神经元模型是基于1943年WarrenMcCulloch和WalterPitts提出的“M-P神经元模型”。

在这个模型中，神经元通过带权重的连接接处理来自n个其他神经元的输入信号，其总输入值将与神经元的阈值进行比较，最后通过“激活函数”（activationfunction）产生神经元的输出。

来源：OverviewofArtificialNeuralNetworksanditsApplications.(2018).medium.com.语音识别技术自动语音识别是一种将口头语音转换为实时可读文本的技术。

自动语音识别也称为语音识别(SpeechRecognition)或计算机语音识别(ComputerSpeechRecognition)。

自动语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。

由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。

自动语音识别在人工智能领域占据着极其重要的位置。

来源：WhatisAutomaticSpeechRecognition?图像处理技术图像处理是指对图像进行分析、加工和处理，使其满足视觉、心理或其他要求的技术。

图像处理是信号处理在图像领域上的一个应用。

目前大多数的图像均是以数字形式存储，因而图像处理很多情况下指数字图像处理。

来源：维基百科前馈神经网络技术前馈神经网络(FNN)是人工智能领域中最早发明的简单人工神经网络类型。

在它内部，参数从输入层经过隐含层向输出层单向传播。

与递归神经网络不同，在它内部不会构成有向环。

FNN由一个输入层、一个（浅层网络）或多个（深层网络，因此叫作深度学习）隐藏层，和一个输出层构成。

每个层（除输出层以外）与下一层连接。

这种连接是FNN架构的关键，具有两个主要特征：加权平均值和激活函数。

来源：机器之心展开全部数据推荐文章深度学习笔记之《解析卷积神经网络》附下载地址UCBerkeley新研究：通过深度学习建模注意点采样阵列颜水成&刘嘉：机器学习与认知神经的火花碰撞登录后评论看不懂论文Pro同济大学・智能交通系统工程・硕士神奇2019/06/1914:17返回顶部