卷積神經網路- 維基百科，自由的百科全書

卷積神經網路（Convolutional Neural Network, CNN）是一種前饋神經網路，它的人工神經元可以回應一部分覆蓋範圍內的周圍單元，對於大型圖像處理有出色表現。

卷積神經 ... 卷積神經網路 維基百科，自由的百科全書 跳至導覽 跳至搜尋 機器學習與資料探勘 問題 分類 聚類 回歸 異常檢測 資料淨化 自動機器學習（英語：Automatedmachinelearning） 關聯規則 強化學習 結構預測（英語：Structuredprediction） 特徵工程（英語：Featureengineering） 特徵學習 線上機器學習 無監督學習 半監督學習（英語：Semi-supervisedlearning） 排序學習（英語：Learningtorank） 語法歸納（英語：Grammarinduction） 監督式學習(分類 ·回歸) 決策樹 整合（裝袋，提升，隨機森林） k-NN 線性回歸 樸素貝葉斯 神經網路 邏輯回歸 感知器 支持向量機（SVM） 相關向量機（RVM） 聚類 BIRCH 層次（英語：Hierarchicalclustering） k-平均 期望最大化（EM） DBSCAN OPTICS 均值飄移（英語：Meanshift） 降維 因素分析 CCA ICA LDA NMF（英語：Non-negativematrixfactorization） PCA LASSO t-SNE（英語：t-distributedstochasticneighborembedding） 結構預測（英語：Structuredprediction） 概率圖模型（貝葉斯網路，CRF,HMM） 異常檢測 k-NN 局部離群因子（英語：Localoutlierfactor） 神經網路 自編碼 深度學習 多層感知機 RNN 受限玻爾茲曼機 SOM CNN 強化學習 Q學習 SARSA（英語：State–action–reward–state–action） 時序差分學習（英語：Temporaldifferencelearning） 深度強化學習 理論 偏差/方差困境（英語：Bias–variancetradeoff） 計算學習理論（英語：Computationallearningtheory） 經驗風險最小化 PAC學習（英語：Probablyapproximatelycorrectlearning） 統計學習 VC理論 閱論編 此條目可參照外語維基百科相應條目來擴充。

若您熟悉來源語言和主題，請協助參考外語維基百科擴充條目。

請勿直接提交機械翻譯，也不要翻譯不可靠、低品質內容。

依著作權協定，譯文需在編輯摘要註明來源，或於討論頁頂部標記{{Translatedpage}}標籤。

卷積神經網路（ConvolutionalNeuralNetwork,CNN）是一種前饋神經網路，它的人工神經元可以回應一部分覆蓋範圍內的周圍單元，[1]對於大型圖像處理有出色表現。

卷積神經網路由一個或多個卷積層和頂端的全連通層（對應經典的神經網路）組成，同時也包括關聯權重和池化層（poolinglayer）。

這一結構使得卷積神經網路能夠利用輸入資料的二維結構。

與其他深度學習結構相比，卷積神經網路在圖像和語音辨識方面能夠給出更好的結果。

這一模型也可以使用反向傳播演算法進行訓練。

相比較其他深度、前饋神經網路，卷積神經網路需要考量的參數更少，使之成為一種頗具吸引力的深度學習結構[2]。

目次 1定義 2概覽 3發展 3.1大腦中視覺皮層接收視覺信號的過程 4結構 4.1卷積層 4.2線性整流層 4.3池化層 4.4完全連接層 5應用 5.1影像辨識 5.2視訊分析 5.3自然語言處理 5.4藥物發現 5.5圍棋 6微調（fine-tuning） 7經典模型 8可用包 9參考 定義[編輯] 此章節需要擴充。

(2020年3月15日) 「卷積神經網路」表示在網路採用稱為卷積的數學運算。

卷積是一種特殊的線性操作。

卷積網路是一種特殊的神經網路，它們在至少一個層中使用卷積代替一般矩陣乘法 概覽[編輯] 此章節尚無任何內容。

發展[編輯] 此章節需要擴充。

(2020年10月5日) CNN是根據生物的視覺處理過程來進行設計的。

[來源請求] 大腦中視覺皮層接收視覺訊號的過程[編輯] Hubel和Wiesel在20世紀50年代到20世紀60年代的研究發現，貓和猴子的視覺皮層中包含著能分別對某一小塊視覺區域進行回應的神經元。

當眼睛不動的時候，在一定區域內的視覺刺激能使單個神經元興奮，那這個區域就稱為這個神經元的感受範圍。

相鄰的細胞具有相似且重疊的感受範圍。

[來源請求]為了形成一張完整的視覺圖像，整個視覺皮層上的神經元的感受範圍的大小和位置呈現系統性的變化。

[來源請求]左腦和右腦分別對應其對側的視野。

[來源請求] 他們在其1968年的一篇論文中確定了大腦中有兩種不同的基本視覺細胞： 簡單細胞 複雜細胞 Hubel和Wiesel還提出了這兩種細胞用於圖型識別任務的級聯模型。

結構[編輯] 卷積層[編輯] 卷積層可以產生一組平行的特徵圖（featuremap），它通過在輸入圖像上滑動不同的卷積核並執行一定的運算而組成。

此外，在每一個滑動的位置上，卷積核與輸入圖像之間會執行一個元素對應乘積並求和的運算以將感受野內的資訊投影到特徵圖中的一個元素。

這一滑動的過程可稱爲步幅Z_s，步幅Z_s是控制輸出特徵圖尺寸的一個因素。

卷積核的尺寸要比輸入圖像小得多，且重疊或平行地作用於輸入圖像中，一張特徵圖中的所有元素都是通過一個卷積核計算得出的，也即一張特徵圖共享了相同的權重和偏置項。

線性整流層[編輯] 線性整流層（RectifiedLinearUnitslayer,ReLUlayer）使用線性整流（RectifiedLinearUnits,ReLU） f ( x ) = max ( 0 , x ) {\displaystylef(x)=\max(0,x)} 作為這一層神經的激勵函式（Activationfunction）。

它可以增強判定函式和整個神經網路的非線性特性，而本身並不會改變卷積層。

事實上，其他的一些函式也可以用於增強網路的非線性特性，如雙曲正切函式 f ( x ) = tanh ⁡ ( x ) {\displaystylef(x)=\tanh(x)} , f ( x ) = | tanh ⁡ ( x ) | {\displaystylef(x)=|\tanh(x)|} ，或者Sigmoid函式 f ( x ) = ( 1 + e − x ) − 1 {\displaystylef(x)=(1+e^{-x})^{-1}} 。

相比其它函式來說，ReLU函式更受青睞，這是因為它可以將神經網路的訓練速度提升數倍[3]，而並不會對模型的泛化準確度造成顯著影響。

池化層[編輯] 步幅為2，池化窗口為 2 × 2 {\displaystyle2\times2} 的最大池化層 池化（Pooling）是卷積神經網路中另一個重要的概念，它實際上是一種非線性形式的降採樣。

有多種不同形式的非線性池化函式，而其中「最大池化（Maxpooling）」是最為常見的。

它是將輸入的圖像劃分為若干個矩形區域，對每個子區域輸出最大值。

直覺上，這種機制能夠有效地原因在於，一個特徵的精確位置遠不及它相對於其他特徵的粗略位置重要。

池化層會不斷地減小資料的空間大小，因此參數的數量和計算量也會下降，這在一定程度上也控制了過擬合。

通常來說，CNN的網路結構中的卷積層之間都會周期性地插入池化層。

池化操作提供了另一種形式的平移不變性。

因為卷積核是一種特徵發現器，我們通過卷積層可以很容易地發現圖像中的各種邊緣。

但是卷積層發現的特徵往往過於精確，我們即使高速連拍拍攝一個物體，相片中的物體的邊緣像素位置也不大可能完全一致，通過池化層我們可以降低卷積層對邊緣的敏感性。

池化層每次在一個池化窗口（depthslice）上計算輸出，然後根據步幅移動池化窗口。

下圖是目前最常用的池化層，步幅為2，池化窗口為 2 × 2 {\displaystyle2\times2} 的二維最大池化層。

每隔2個元素從圖像劃分出 2 × 2 {\displaystyle2\times2} 的區塊，然後對每個區塊中的4個數取最大值。

這將會減少75%的資料量。

f X , Y ( S ) = max a , b = 0 1 S 2 X + a , 2 Y + b . {\displaystylef_{X,Y}(S)=\max_{a,b=0}^{1}S_{2X+a,2Y+b}.} 除了最大池化之外，池化層也可以使用其他池化函式，例如「平均池化」甚至「L2-範數池化」等。

過去，平均池化的使用曾經較為廣泛，但是最近由於最大池化在實踐中的表現更好，平均池化已經不太常用。

由於池化層過快地減少了資料的大小，目前文獻中的趨勢是使用較小的池化濾鏡，[4]甚至不再使用池化層。

[5] RoI池化(RegionofInterest)是最大池化的變體，其中輸出大小是固定的，輸入矩形是一個參數。

[6] 池化層是基於Fast-RCNN[7]架構的卷積神經網路的一個重要組成部分。

完全連接層[編輯] 最後，在經過幾個卷積和最大池化層之後，神經網路中的進階推理通過完全連接層來完成。

就和常規的非卷積人工神經網路中一樣，完全連接層中的神經元與前一層中的所有啟用都有聯絡。

因此，它們的啟用可以作為仿射變換來計算，也就是先乘以一個矩陣然後加上一個偏差(bias)偏移量(向量加上一個固定的或者學習來的偏差量)。

應用[編輯] 影像辨識[編輯] 卷積神經網路通常在影像辨識系統中使用。

視訊分析[編輯] 相比影像辨識問題，視訊分析要難許多。

CNN也常被用於這類問題。

自然語言處理[編輯] 卷積神經網路也常被用於自然語言處理。

CNN的模型被證明可以有效的處理各種自然語言處理的問題，如語意分析[8]、搜尋結果提取[9]、句子建模[10]、分類[11]、預測[12]、和其他傳統的NLP任務[13] 等。

藥物發現[編輯] 卷積神經網路已在藥物發現中使用。

卷積神經網路被用來預測的分子與蛋白質之間的相互作用，以此來尋找靶向位點，尋找出更可能安全和有效的潛在治療方法。

圍棋[編輯] 參見：AlphaGo李世乭五番棋 卷積神經網路在電腦圍棋領域也被使用。

2016年3月，AlphaGo對戰李世乭的比賽，展示了深度學習在圍棋領域的重大突破。

微調（fine-tuning）[編輯] 卷積神經網路（例如Alexnet、VGG網路）在網路的最後通常為softmax分類器。

微調一般用來調整softmax分類器的分類數。

例如原網路可以分類出2種圖像，需要增加1個新的分類從而使網路可以分類出3種圖像。

微調（fine-tuning）可以留用之前訓練的大多數參數，從而達到快速訓練收斂的效果。

例如保留各個卷積層，只重構卷積層後的全連接層與softmax層即可。

經典模型[編輯] LeNet AlexNet VGG GoogLeNet ResNet DenseNet 可用包[編輯] roNNie（頁面存檔備份，存於網際網路檔案館）:是一個簡易入門級框架,使用Tensorflow計算層.可於python下載pip3ronnie Caffe:Caffe包含了CNN使用最廣泛的庫。

它由伯克利視覺和學習中心（BVLC）研發，擁有比一般實現更好的結構和更快的速度。

同時支援CPU和GPU計算，底層由C++實現，並封裝了Python和MATLAB的介面。

Torch7（www.torch.ch） OverFeat Cuda-convnet MatConvnet Theano：用Python實現的神經網路包[14] TensorFlow Paddlepaddle(www.paddlepaddle.org（頁面存檔備份，存於網際網路檔案館）) Keras 參考[編輯] ^ConvolutionalNeuralNetworks(LeNet)-DeepLearning0.1documentation.DeepLearning0.1.LISALab.[31August2013].（原始內容存檔於2017-12-28）.  ^ConvolutionalNeuralNetwork.[2014-09-16].（原始內容存檔於2020-10-29）.  ^Krizhevsky,A.;Sutskever,I.;Hinton,G.E.Imagenetclassificationwithdeepconvolutionalneuralnetworks.AdvancesinNeuralInformationProcessingSystems.2012,1:1097–1105[2016-11-20].（原始內容存檔於2015-02-16）.  ^Graham,Benjamin.FractionalMax-Pooling.2014-12-18.arXiv:1412.6071 [cs.CV].  ^Springenberg,JostTobias;Dosovitskiy,Alexey;Brox,Thomas;Riedmiller,Martin.StrivingforSimplicity:TheAllConvolutionalNet.2014-12-21.arXiv:1412.6806 [cs.LG].  ^Grel,Tomasz.Regionofinterestpoolingexplained.deepsense.io.2017-02-28.（原始內容存檔於2017-06-02）（英語）.  ^Girshick,Ross.FastR-CNN.2015-09-27.arXiv:1504.08083 [cs.CV].  ^Grefenstette,Edward;Blunsom,Phil;deFreitas,Nando;Hermann,KarlMoritz.ADeepArchitectureforSemanticParsing.2014-04-29.arXiv:1404.7296 [cs.CL].  ^LearningSemanticRepresentationsUsingConvolutionalNeuralNetworksforWebSearch–MicrosoftResearch.research.microsoft.com.[2015-12-17].（原始內容存檔於2016-06-18）.  ^Kalchbrenner,Nal;Grefenstette,Edward;Blunsom,Phil.AConvolutionalNeuralNetworkforModellingSentences.2014-04-08.arXiv:1404.2188 [cs.CL].  ^Kim,Yoon.ConvolutionalNeuralNetworksforSentenceClassification.2014-08-25.arXiv:1408.5882 [cs.CL].  ^Collobert,Ronan,andJasonWeston."Aunifiedarchitecturefornaturallanguageprocessing:Deepneuralnetworkswithmultitasklearning."Proceedingsofthe25thinternationalconferenceonMachinelearning.ACM,2008. ^Collobert,Ronan;Weston,Jason;Bottou,Leon;Karlen,Michael;Kavukcuoglu,Koray;Kuksa,Pavel.NaturalLanguageProcessing(almost)fromScratch.2011-03-02.arXiv:1103.0398 [cs.LG].  ^深度网络：Theano项目主页。

.[2015-04-24].（原始內容存檔於2020-11-08）.  取自「https://zh.wikipedia.org/w/index.php?title=卷积神经网络&oldid=69828433」 分類：​人工智慧人工神經網絡隱藏分類：​CS1英語來源(en)需要從外語維基百科翻譯的條目自2020年3月擴充中的條目所有擴充中的條目拒絕當選首頁新條目推薦欄目的條目使用小型訊息框的頁面擴充中的條目包含空白章節的條目所有包含空白章節的條目自2020年10月擴充中的條目有未列明來源語句的條目 導覽選單 個人工具 沒有登入討論貢獻建立帳號登入 命名空間 條目討論 臺灣正體 已展開 已摺疊 不转换简体繁體大陆简体香港繁體澳門繁體大马简体新加坡简体臺灣正體 查看 閱讀編輯檢視歷史 更多 已展開 已摺疊 搜尋 導航 首頁分類索引特色內容新聞動態近期變更隨機條目資助維基百科 說明 說明維基社群方針與指引互助客棧知識問答字詞轉換IRC即時聊天聯絡我們關於維基百科 工具 連結至此的頁面相關變更上傳檔案特殊頁面靜態連結頁面資訊引用此頁面維基數據項目 列印/匯出 下載為PDF可列印版 其他語言 العربيةCatalàDeutschEnglishEspañolفارسیFrançaisעבריתItaliano日本語한국어LietuviųPortuguêsРусскийSimpleEnglishСрпски/srpskiTürkçeУкраїнськаTiếngViệt吴语粵語 編輯連結