人工神經網路- 維基百科，自由的百科全書

人工神經網路（英語：Artificial Neural Network，ANN），簡稱神經網路（Neural Network，NN）或類神經網路，在機器學習和認知科學領域，是一種模仿生物神經網路（動物 ... 人工神經網路 維基百科，自由的百科全書 跳至導覽 跳至搜尋   此條目介紹的是類比生物神經網路的數學模型。

關於生物的神經網路，請見「生物神經網路」。

機器學習與資料探勘 問題 分類 聚類 回歸 異常檢測 資料淨化 自動機器學習（英語：Automatedmachinelearning） 關聯規則 強化學習 結構預測（英語：Structuredprediction） 特徵工程（英語：Featureengineering） 特徵學習 線上機器學習 無監督學習 半監督學習（英語：Semi-supervisedlearning） 排序學習（英語：Learningtorank） 語法歸納（英語：Grammarinduction） 監督式學習(分類 ·回歸) 決策樹 整合（裝袋，提升，隨機森林） k-NN 線性回歸 樸素貝葉斯 神經網路 邏輯回歸 感知器 支持向量機（SVM） 相關向量機（RVM） 聚類 BIRCH 層次（英語：Hierarchicalclustering） k-平均 期望最大化（EM） DBSCAN OPTICS 均值飄移（英語：Meanshift） 降維 因素分析 CCA ICA LDA NMF（英語：Non-negativematrixfactorization） PCA LASSO t-SNE（英語：t-distributedstochasticneighborembedding） 結構預測（英語：Structuredprediction） 概率圖模型（貝葉斯網路，CRF,HMM） 異常檢測 k-NN 局部離群因子（英語：Localoutlierfactor） 神經網路 自編碼 深度學習 多層感知機 RNN 受限玻爾茲曼機 SOM CNN 強化學習 Q學習 SARSA（英語：State–action–reward–state–action） 時序差分學習（英語：Temporaldifferencelearning） 深度強化學習 理論 偏差/方差困境（英語：Bias–variancetradeoff） 計算學習理論（英語：Computationallearningtheory） 經驗風險最小化 PAC學習（英語：Probablyapproximatelycorrectlearning） 統計學習 VC理論 閱論編 人工神經網路（英語：ArtificialNeuralNetwork，ANN），簡稱神經網路（NeuralNetwork，NN）或類神經網路，在機器學習和認知科學領域，是一種模仿生物神經網路（動物的中樞神經系統，特別是大腦）的結構和功能的數學模型或計算模型，用於對函式進行估計或近似。

神經網路由大量的人工神經元聯結進行計算。

大多數情況下人工神經網路能在外界資訊的基礎上改變內部結構，是一種自適應系統，通俗地講就是具備學習功能。

現代神經網路是一種非線性統計性資料建模工具，神經網路通常是通過一個基於數學統計學類型的學習方法（LearningMethod）得以最佳化，所以也是數學統計學方法的一種實際應用，通過統計學的標準數學方法我們能夠得到大量的可以用函式來表達的局部結構空間，另一方面在人工智慧學的人工感知領域，我們通過數學統計學的應用可以來做人工感知方面的決定問題（也就是說通過統計學的方法，人工神經網路能夠類似人一樣具有簡單的決定能力和簡單的判斷能力），這種方法比起正式的邏輯學推理演算更具有優勢。

和其他機器學習方法一樣，神經網路已經被用於解決各種各樣的問題，例如機器視覺和語音辨識。

這些問題都是很難被傳統基於規則的編程所解決的。

目次 1背景 2歷史 2.1赫布型學習 2.2反向傳播算法與復興 2.32006年之後的進展 3構成 4神經元 5神經元網絡 5.1單層神經元網絡 5.2多層神經元網絡 6人工神經網絡的實用性 7人工神經元網絡模型 8基本結構 9學習過程 10種類 11理論性質 11.1計算能力 11.2容量 11.3收斂性 11.4綜合統計 12相關 13參看 14參見 15參考文獻 16外部連結 背景[編輯] 對人類中樞神經系統的觀察啟發了人工神經網路這個概念。

在人工神經網路中，簡單的人工節點，稱作神經元（neurons），連接在一起形成一個類似生物神經網路的網狀結構。

人工神經網路目前沒有一個統一的正式定義。

不過，具有下列特點的統計模型可以被稱作是「神經化」的： 具有一組可以被調節的權重（被學習演算法調節的數值參數） 可以估計輸入資料的非線性函式關係 這些可調節的權重可以被看做神經元之間的連接強度。

人工神經網路與生物神經網路的相似之處在於，它可以集體地、並列地計算函式的各個部分，而不需要描述每一個單元的特定任務。

神經網路這個詞一般指統計學、認知心理學和人工智慧領域使用的模型，而控制中央神經系統的神經網路屬於理論神經科學和計算神經科學。

[1] 在神經網路的現代軟體實現中，被生物學啟發的那種方法已經很大程度上被拋棄了，取而代之的是基於統計學和訊號處理的更加實用的方法。

在一些軟體系統中，神經網路或者神經網路的一部分（例如人工神經元）是大型系統中的一個部分。

這些系統結合了適應性的和非適應性的元素。

雖然這種系統使用的這種更加普遍的方法更適宜解決現實中的問題，但是這和傳統的連接主義人工智慧已經沒有什麼關聯了。

不過它們還有一些共同點：非線性、分散式、並列化，局部性計算以及適應性。

從歷史的角度講，神經網路模型的應用標誌著二十世紀八十年代後期從高度符號化的人工智慧（以用條件規則表達知識的專家系統為代表）向低符號化的機器學習（以用動力系統的參數列達知識為代表）的轉變。

歷史[編輯] 沃倫·麥卡洛克和沃爾特·皮茨（1943）[2]基於數學和一種稱為閾值邏輯的演算法創造了一種神經網路的計算模型。

這種模型使得神經網路的研究分裂為兩種不同研究思路。

一種主要關注大腦中的生物學過程，另一種主要關注神經網路在人工智慧裡的應用。

赫布型學習[編輯] 二十世紀40年代後期，心理學家唐納德·赫布根據神經可塑性的機制創造了一種對學習的假說，現在稱作赫布型學習。

赫布型學習被認為是一種典型的非監督式學習規則，它後來的變種是長期增強作用的早期模型。

從1948年開始，研究人員將這種計算模型的思想應用到B型圖靈機上。

法利和韋斯利·A·克拉克（1954）[3]首次使用電腦，當時稱作計算機，在MIT類比了一個赫布網路。

納撒尼爾·羅切斯特（1956）等人[4]類比了一台IBM704電腦上的抽象神經網路的行為。

弗蘭克·羅森布拉特（英語：FrankRosenblatt）創造了感知機[5]。

這是一種圖型識別演算法，用簡單的加減法實現了兩層的電腦學習網路。

羅森布拉特也用數學符號描述了基本感知機里沒有的迴路，例如互斥或迴路。

這種迴路一直無法被神經網路處理，直到保羅·韋伯斯(1975)創造了反向傳播演算法。

在馬文·明斯基和西摩爾·派普特（1969）發表了一項關於機器學習的研究以後，神經網路的研究停滯不前。

他們發現了神經網路的兩個關鍵問題。

第一是基本感知機無法處理互斥或迴路。

第二個重要的問題是電腦沒有足夠的能力來處理大型神經網路所需要的很長的計算時間。

直到電腦具有更強的計算能力之前，神經網路的研究進展緩慢。

反向傳播演算法與復興[編輯] 後來出現的一個關鍵的進展是保羅·韋伯斯發明的反向傳播演算法（Werbos1975）。

這個演算法有效地解決了互斥或的問題，還有更普遍的訓練多層神經網路的問題。

在二十世紀80年代中期，分散式並列處理（當時稱作聯結主義）流行起來。

戴維·魯姆哈特（英語：DavidE.Rumelhart）和詹姆斯·麥克里蘭德（英語：JamesMcClelland）的教材對於聯結主義在電腦類比神經活動中的應用提供了全面的論述。

神經網路傳統上被認為是大腦中的神經活動的簡化模型，雖然這個模型和大腦的生理結構之間的關聯存在爭議。

人們不清楚人工神經網路能多大程度地反映大腦的功能。

支持向量機和其他更簡單的方法（例如線性分類器）在機器學習領域的流行度逐漸超過了神經網路，但是在2000年代後期出現的深度學習重新激發了人們對神經網路的興趣。

2006年之後的進展[編輯] 人們用CMOS創造了用於生物物理類比和神經形態計算的計算裝置。

最新的研究顯示了用於大型主成分分析和卷積神經網路的奈米裝置[6]具有良好的前景。

如果成功的話，這會創造出一種新的神經計算裝置[7]，因為它依賴於學習而不是編程，並且它從根本上就是類比的而不是數位化的，雖然它的第一個實例可能是數位化的CMOS裝置。

在2009到2012年之間，JürgenSchmidhuber在SwissAILabIDSIA的研究小組研發的迴圈神經網路和深前饋神經網路贏得了8項關於圖型識別和機器學習的國際比賽。

[8][9]例如，AlexGravesetal.的雙向、多維的LSTM贏得了2009年ICDAR的3項關於連筆字辨識的比賽，而且之前並不知道關於將要學習的3種語言的資訊。

[10][11][12][13] IDSIA的DanCiresan和同事根據這個方法編寫的基於GPU的實現贏得了多項圖型識別的比賽，包括IJCNN2011交通標誌辨識比賽等等。

[14][15]他們的神經網路也是第一個在重要的基準測試中（例如IJCNN2012交通標誌辨識和NYU的揚·勒丘恩（YannLeCun）的MNIST手寫數字問題）能達到或超過人類水平的人工圖型識別器。

類似1980年KunihikoFukushima發明的neocognitron[16]和視覺標準結構[17]（由DavidH.Hubel和TorstenWiesel在初級視皮層中發現的那些簡單而又複雜的細胞啟發）那樣有深度的、高度非線性的神經結構可以被多倫多大學傑弗里·辛頓實驗室的非監督式學習方法所訓練。

[18][19][20] 2012年，神經網路出現了快速的發展，主要原因在於計算技術的提高，使得很多複雜的運算變得成本低廉。

以AlexNet為標誌，大量的深度網路開始出現。

2014年出現了殘差神經網路，該網路極大解放了神經網路的深度限制，出現了深度學習的概念。

構成[編輯] 典型的人工神經網路具有以下三個部分： 結構（Architecture）結構指定了網路中的變數和它們的拓撲關係。

例如，神經網路中的變數可以是神經元連接的權重（weights）和神經元的激勵值（activitiesoftheneurons）。

激勵函式（ActivationRule）大部分神經網路模型具有一個短時間尺度的動力學規則，來定義神經元如何根據其他神經元的活動來改變自己的激勵值。

一般激勵函式依賴於網路中的權重（即該網路的參數）。

學習規則（LearningRule）學習規則指定了網路中的權重如何隨著時間推進而調整。

這一般被看做是一種長時間尺度的動力學規則。

一般情況下，學習規則依賴於神經元的激勵值。

它也可能依賴於監督者提供的目標值和當前權重的值。

例如，用於手寫辨識的一個神經網路，有一組輸入神經元。

輸入神經元會被輸入圖像的資料所激發。

在激勵值被加權並通過一個函式（由網路的設計者確定）後，這些神經元的激勵值被傳遞到其他神經元。

這個過程不斷重複，直到輸出神經元被激發。

最後，輸出神經元的激勵值決定了辨識出來的是哪個字母。

神經元[編輯] 神經元示意圖： a1~an為輸入向量的各個分量 w1~wn為神經元各個突觸的權值 b為偏置 f為傳遞函式，通常為非線性函式。

一般有traingd(),tansig(),hardlim()。

以下預設為hardlim() t為神經元輸出 數學表示 t = f ( W ′ → A → + b ) {\displaystylet=f({\vec{W'}}{\vec{A}}+b)} W → {\displaystyle{\vec{W}}} 為權向量， W ′ → {\displaystyle{\vec{W'}}} 為 W → {\displaystyle{\vec{W}}} 的轉置 A → {\displaystyle{\vec{A}}} 為輸入向量 b {\displaystyleb} 為偏置 f {\displaystylef} 為傳遞函式 可見，一個神經元的功能是求得輸入向量與權向量的內積後，經一個非線性傳遞函式得到一個純量結果。

單個神經元的作用：把一個n維向量空間用一個超平面分割成兩部分（稱之為判斷邊界），給定一個輸入向量，神經元可以判斷出這個向量位於超平面的哪一邊。

該超平面的方程： W ′ → p → + b = 0 {\displaystyle{\vec{W'}}{\vec{p}}+b=0} W → {\displaystyle{\vec{W}}} 權向量 b {\displaystyleb} 偏置 p → {\displaystyle{\vec{p}}} 超平面上的向量[21] 神經元網路[編輯] 單層神經元網路[編輯] 是最基本的神經元網路形式，由有限個神經元構成，所有神經元的輸入向量都是同一個向量。

由於每一個神經元都會產生一個純量結果，所以單層神經元的輸出是一個向量，向量的維數等於神經元的數目。

示意圖： 多層神經元網路[編輯] 人工神經網路的實用性[編輯] 人工神經網路是一個能夠學習，能夠總結歸納的系統，也就是說它能夠通過已知資料的實驗運用來學習和歸納總結。

人工神經網路通過對局部情況的對照比較（而這些比較是基於不同情況下的自動學習和要實際解決問題的複雜性所決定的），它能夠推理產生一個可以自動辨識的系統。

與之不同的基於符號系統下的學習方法，它們也具有推理功能，只是它們是建立在邏輯演算法的基礎上，也就是說它們之所以能夠推理，基礎是需要有一個推理演算法則的集合。

人工神經元網路模型[編輯] 通常來說，一個人工神經元網路是由一個多層神經元結構組成，每一層神經元擁有輸入（它的輸入是前一層神經元的輸出）和輸出，每一層（我們用符號記做）Layer(i)是由Ni(Ni代表在第i層上的N)個網路神經元組成，每個Ni上的網路神經元把對應在Ni-1上的神經元輸出做為它的輸入，我們把神經元和與之對應的神經元之間的連線用生物學的名稱，叫做突觸（英語：Synapse），在數學模型中每個突觸有一個加權數值，我們稱做權重，那麼要計算第i層上的某個神經元所得到的勢能等於每一個權重乘以第i-1層上對應的神經元的輸出，然後全體求和得到了第i層上的某個神經元所得到的勢能，然後勢能數值通過該神經元上的啟用功能（activationfunction，常是∑函式（英語：Sigmoidfunction）以控制輸出大小，因為其可微分且連續，方便差量規則（英語：Deltarule）處理。

），求出該神經元的輸出，注意的是該輸出是一個非線性的數值，也就是說通過激勵函式求的數值根據極限值來判斷是否要啟用該神經元，換句話說我們對一個神經元網路的輸出是否線性不感興趣。

基本結構[編輯] 一種常見的多層結構的前饋網路（MultilayerFeedforwardNetwork）由三部分組成， 輸入層（Inputlayer），眾多神經元（Neuron）接受大量非線形輸入訊息。

輸入的訊息稱為輸入向量。

輸出層（Outputlayer），訊息在神經元鏈結中傳輸、分析、權衡，形成輸出結果。

輸出的訊息稱為輸出向量。

隱藏層（Hiddenlayer），簡稱「隱層」，是輸入層和輸出層之間眾多神經元和鏈結組成的各個層面。

隱層可以有一層或多層。

隱層的節點（神經元）數目不定，但數目越多神經網路的非線性越顯著，從而神經網路的強健性（控制系統在一定結構、大小等的參數攝動下，維持某些效能的特性）更顯著。

習慣上會選輸入節點1.2至1.5倍的節點。

這種網路一般稱為感知器（對單隱藏層）或多層感知器（對多隱藏層），神經網路的類型已經演變出很多種，這種分層的結構也並不是對所有的神經網路都適用。

學習過程[編輯] 通過訓練樣本的校正，對各個層的權重進行校正（learning）而建立模型的過程，稱為自動學習過程（trainingalgorithm）。

具體的學習方法則因網路結構和模型不同而不同，常用反向傳播演算法（Backpropagation/倒傳遞/逆傳播，以output利用一次微分Deltarule（英語：Deltarule）來修正weight）來驗證。

種類[編輯] 類神經網絡分類為以下兩種： 1.依學習策略（Algorithm）分類主要有： 監督式學習網絡（SupervisedLearningNetwork）為主 無監督式學習網絡（UnsupervisedLearningNetwork） 混合式學習網絡（HybridLearningNetwork） 聯想式學習網絡（AssociateLearningNetwork） 最適化學習網絡（OptimizationApplicationNetwork） 2.依網絡架構（Connectionism）分類主要有： 前饋神經網路（FeedForwardNetwork） 迴圈神經網路（RecurrentNetwork） 強化式架構（ReinforcementNetwork） 理論性質[編輯] 計算能力[編輯] 多層感知器（MultilayerPerceptron，縮寫MLP）是一個通用的函式逼近器，由Cybenko定理證明。

然而，證明不依賴特定的神經元數量或權重。

HavaSiegelmann和EduardoD.Sontag的工作證明了，一個具有有理數權重值的特定遞迴結構（與全精度實數權重值相對應）由有限個神經元和標準的線性關係構成的神經網路相當於一個通用圖靈機。

[22]他們進一步表明，使用無理數權重值會產生一個超圖靈機。

容量[編輯] 人工神經網路模型有一個屬性，稱為「容量」，這大致相當於他們記住（而非正確分類）輸入資料的能力。

它與網路的參數、和結構有關。

Google在研究[23]中使用打亂標籤的方法，來測試模型是否能否記住所有的輸出。

雖然很明顯，這樣模型在測試集上的表現幾乎是隨機猜測，但是模型能夠記住所有訓練集的輸入資料，即記住他們被打亂後的標籤。

而記住有限的樣本的資訊（Expressivity），需要的模型的參數（權重）數量存在下限。

收斂性[編輯] 模型並不總是收斂到唯一解，因為它取決於一些因素。

首先，函式可能存在許多局部極小值，這取決於成本函式和模型。

其次，在遠離局部最小值時，最佳化方法可能無法保證收斂。

第三，對大量的資料或參數，一些方法變得不切實際。

在一般情況下，我們發現，理論保證的收斂不能成為實際應用的一個可靠的指南。

綜合統計[編輯] 在目標是建立一個普遍系統的應用程式中，過度訓練的問題出現了。

這出現在迴旋或過度具體的系統中當網路的容量大大超過所需的自由參數。

為了避免這個問題，有兩個方向：第一個是使用交叉驗證和類似的技術來檢查過度訓練的存在和選擇最佳參數如最小化泛化誤差。

二是使用某種形式的正規化。

這是一個在概率化（貝葉斯）框架里出現的概念，其中的正則化可以通過為簡單模型選擇一個較大的先驗概率模型進行；而且在統計學習理論中，其目的是最大限度地減少了兩個數量：「風險」和「結構風險」，相當於誤差在訓練集和由於過度擬合造成的預測誤差。

相關[編輯] 機器學習 深度學習 邏輯迴歸 線性迴歸 參看[編輯] 感知機 多層感知器 ER隨機圖 參見[編輯] 人工智慧 參考文獻[編輯] ^Hentrich,MichaelWilliam.MethodologyandCoronaryArteryDiseaseCure.2015-08-16[2016-07-31].doi:10.1709/TIT.2015.1083925.（原始內容存檔於2020-02-03）.  ^McCulloch,WarrenS.;Pitts,Walter.Alogicalcalculusoftheideasimmanentinnervousactivity.Thebulletinofmathematicalbiophysics.1943-12-01,5(4):115–133[2016-07-31].ISSN 0007-4985.doi:10.1007/BF02478259.（原始內容存檔於2020-12-15）（英語）.  ^Farley,B.;Clark,W.Simulationofself-organizingsystemsbydigitalcomputer.TransactionsoftheIREProfessionalGrouponInformationTheory.1954-09-01,4(4):76–84.ISSN 2168-2690.doi:10.1109/TIT.1954.1057468.  ^Rochester,N.;Holland,J.;Haibt,L.;Duda,W.Testsonacellassemblytheoryoftheactionofthebrain,usingalargedigitalcomputer.IRETransactionsonInformationTheory.1956-09-01,2(3):80–93.ISSN 0096-1000.doi:10.1109/TIT.1956.1056810.  ^Rosenblatt,F.ThePerceptron:AProbabilisticModelForInformationStorageAndOrganizationInTheBrain.PsychologicalReview.1958,65(6):386–408.CiteSeerX 10.1.1.588.3775 .PMID 13602029.doi:10.1037/h0042519.  ^Yang,J.J.;Pickett,M.D.;Li,X.M.;Ohlberg,D.A.A.;Stewart,D.R.;Williams,R.S.Memristiveswitchingmechanismformetal/oxide/metalnanodevices.Nat.Nanotechnol.2008,3:429–433.doi:10.1038/nnano.2008.160.  ^Strukov,D.B.;Snider,G.S.;Stewart,D.R.;Williams,R.S.Themissingmemristorfound.Nature.2008,453:80–83.PMID 18451858.doi:10.1038/nature06932.  ^2012KurzweilAIInterview（頁面存檔備份，存於網際網路檔案館）withJürgenSchmidhuberontheeightcompetitionswonbyhisDeepLearningteam2009–2012 ^http://www.kurzweilai.net/how-bio-inspired-deep-learning-keeps-winning-competitions（頁面存檔備份，存於網際網路檔案館）2012KurzweilAIInterviewwithJürgenSchmidhuberontheeightcompetitionswonbyhisDeepLearningteam2009–2012 ^Graves,Alex;andSchmidhuber,Jürgen;OfflineHandwritingRecognitionwithMultidimensionalRecurrentNeuralNetworks（頁面存檔備份，存於網際網路檔案館）,inBengio,Yoshua;Schuurmans,Dale;Lafferty,John;Williams,ChrisK.I.;andCulotta,Aron(eds.),AdvancesinNeuralInformationProcessingSystems22(NIPS'22),7–10December2009,Vancouver,BC,NeuralInformationProcessingSystems(NIPS)Foundation,2009,pp.545–552. ^Graves,A.;Liwicki,M.;Fernandez,S.;Bertolami,R.;Bunke,H.;Schmidhuber,J.ANovelConnectionistSystemforImprovedUnconstrainedHandwritingRecognition(PDF).IEEETransactionsonPatternAnalysisandMachineIntelligence.2009,31(5)[2016-07-31].（原始內容存檔(PDF)於2014-01-02）.  ^Graves,Alex;andSchmidhuber,Jürgen;OfflineHandwritingRecognitionwithMultidimensionalRecurrentNeuralNetworks,inBengio,Yoshua;Schuurmans,Dale;Lafferty,John;Williams,ChrisK.I.;andCulotta,Aron(eds.),AdvancesinNeuralInformationProcessingSystems22(NIPS'22),December7th–10th,2009,Vancouver,BC,NeuralInformationProcessingSystems(NIPS)Foundation,2009,pp.545–552 ^Graves,A.;Liwicki,M.;Fernandez,S.;Bertolami,R.;Bunke,H.;Schmidhuber,J.ANovelConnectionistSystemforImprovedUnconstrainedHandwritingRecognition.IEEETransactionsonPatternAnalysisandMachineIntelligence.2009,31(5).  ^D.C.Ciresan,U.Meier,J.Masci,J.Schmidhuber.Multi-ColumnDeepNeuralNetworkforTrafficSignClassification.NeuralNetworks,2012. ^D.C.Ciresan,U.Meier,J.Masci,J.Schmidhuber.Multi-ColumnDeepNeuralNetworkforTrafficSignClassification.NeuralNetworks,2012. ^Fukushima,K.Neocognitron:Aself-organizingneuralnetworkmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition.BiologicalCybernetics.1980,36(4):93–202.PMID 7370364.doi:10.1007/BF00344251.  ^MRiesenhuber,TPoggio.Hierarchicalmodelsofobjectrecognitionincortex.Natureneuroscience,1999. ^Deepbeliefnetworks（頁面存檔備份，存於網際網路檔案館）atScholarpedia. ^Hinton,G.E.;Osindero,S.;Teh,Y.W.AFastLearningAlgorithmforDeepBeliefNets(PDF).NeuralComputation.2006,18(7):1527–1554[2016-07-31].PMID 16764513.doi:10.1162/neco.2006.18.7.1527.（原始內容存檔(PDF)於2015-12-23）.  ^Hinton,G.E.;Osindero,S.;Teh,Y.Afastlearningalgorithmfordeepbeliefnets(PDF).NeuralComputation.2006,18(7):1527–1554[2016-07-31].PMID 16764513.doi:10.1162/neco.2006.18.7.1527.（原始內容存檔(PDF)於2015-12-23）.  ^Hagan,Martin.NeuralNetworkDesign.PWSPublishingCompany.1996.ISBN 7-111-10841-8.  ^Siegelmann,H.T.;Sontag,E.D.Turingcomputabilitywithneuralnets(PDF).Appl.Math.Lett.1991,4(6):77–80[2013-12-09].doi:10.1016/0893-9659(91)90080-F.（原始內容(PDF)存檔於2013-05-02）.  ^ChiyuanZhang.UNDERSTANDINGDEEPLEARNINGREQUIRESRETHINKINGGENERALIZATION.InternationalConferenceonLearningRepresentations.2017.  外部連結[編輯] 神經網路介紹（頁面存檔備份，存於網際網路檔案館） PerformancecomparisonofneuralnetworkalgorithmstestedonUCIdatasets（頁面存檔備份，存於網際網路檔案館） AcloseviewtoArtificialNeuralNetworksAlgorithms（頁面存檔備份，存於網際網路檔案館） 開放式目錄計劃中和NeuralNetworks相關的內容 ABriefIntroductiontoNeuralNetworks(D.Kriesel)-Illustrated,bilingualmanuscriptaboutartificialneuralnetworks;Topicssofar:Perceptrons,Backpropagation,RadialBasisFunctions,RecurrentNeuralNetworks,SelfOrganizingMaps,HopfieldNetworks. NeuralNetworksinMaterialsScience（頁面存檔備份，存於網際網路檔案館） ApracticaltutorialonNeuralNetworks（頁面存檔備份，存於網際網路檔案館） Applicationsofneuralnetworks XOR實例（頁面存檔備份，存於網際網路檔案館） 閱論編機器學習同數據挖掘主題基本概念學習·運算學習論數學模型迴歸模型·類神經網路（深度學習）·決策樹·貝氏網路·支持向量機·關聯規則學習學習範式監督式學習·非監督式學習·強化學習·遺傳演算法主要應用統計分類·表徵學習·降維·聚類分析·異常檢測相關領域計算科學·人工智慧·統計學·數據科學·電腦科學·資訊與計算科學·神經科學·認知科學 閱論編可微分計算概論 可微分編程 神經圖靈機（英語：NeuralTuringmachine） 可微分神經電腦（英語：Differentiableneuralcomputer） 自動微分 神經形態工程（英語：Neuromorphicengineering） 圖型識別 概念 梯度下降 電纜理論（英語：Cabletheory） 聚類分析 迴歸分析 過適 對抗機器學習（英語：Adversarialmachinelearning） 運算學習理論（英語：Computationallearningtheory） 關注（英語：Attention(machinelearning)） 卷積 損失函式 反向傳播演算法 啟用功能 Softmax S函式 線性整流函式 正則化 資料集 程式語言 Python Julia 應用 機器學習 人工神經網路 深度學習 科學計算 人工智慧 深偽技術 硬體 TPU VPU（英語：Visionprocessingunit） 憶阻器 SpiNNaker（英語：SpiNNaker） 軟體庫 TensorFlow PyTorch Keras Theano 實現音訊-視覺 AlexNet WaveNet 人體圖像合成 HWR OCR 語音合成 語音辨識 臉部辨識系統 AlphaFold DALL-E（英語：DALL-E） 語文 Word2vec Transformer（英語：Transformer(machinelearningmodel)） BERT NMT 辯論者專案（英語：ProjectDebater） 華生 GPT-3 決策 AlphaGo Q學習 SARSA（英語：State–action–reward–state–action） OpenAIFive（英語：OpenAIFive） 自動駕駛汽車 MuZero 人物 AlexGraves（英語：AlexGraves(computerscientist)） 伊恩·古德費洛 約書亞·本希奧 傑弗里·辛頓 楊立昆 吳恩達 傑米斯·哈薩比斯 DavidSilver（英語：DavidSilver(computerscientist)） 李飛飛 機構 DeepMind OpenAI MITCSAIL Mila（英語：Mila(researchinstitute)） GoogleBrain FAIR 主題 電腦編程 技術 類屬 人工神經網路 機器學習 規範控制 AAT:300389897 GND:4226127-2 LCCN:sh90001937 NDL:01165604 取自「https://zh.wikipedia.org/w/index.php?title=人工神经网络&oldid=70228550」 分類：​資訊科學人工智慧機器學習計算機科學神經網絡隱藏分類：​CS1英語來源(en)含有英語的條目包含AAT標識符的維基百科條目包含GND標識符的維基百科條目包含LCCN標識符的維基百科條目包含NDL標識符的維基百科條目 導覽選單 個人工具 沒有登入討論貢獻建立帳號登入 命名空間 條目討論 臺灣正體 已展開 已摺疊 不转换简体繁體大陆简体香港繁體澳門繁體大马简体新加坡简体臺灣正體 查看 閱讀編輯檢視歷史 更多 已展開 已摺疊 搜尋 導航 首頁分類索引特色內容新聞動態近期變更隨機條目資助維基百科 說明 說明維基社群方針與指引互助客棧知識問答字詞轉換IRC即時聊天聯絡我們關於維基百科 工具 連結至此的頁面相關變更上傳檔案特殊頁面靜態連結頁面資訊引用此頁面維基數據項目 列印/匯出 下載為PDF可列印版 其他專案 維基共享資源 其他語言 العربيةAzərbaycancaБългарскиবাংলাBosanskiCatalàČeštinaDanskDeutschΕλληνικάEnglishEsperantoEspañolEestiEuskaraفارسیSuomiFrançaisGaeilgeGalegoעבריתहिन्दीHrvatskiMagyarՀայերենBahasaIndonesiaÍslenskaItaliano日本語ქართული한국어LatinaLietuviųLatviešuMalagasyМакедонскиമലയാളംBahasaMelayuNederlandsNorsknynorskNorskbokmålଓଡ଼ିଆPolskiPortuguêsRunaSimiRomânăРусскийSimpleEnglishSlovenčinaСрпски/srpskiSvenskaதமிழ்ไทยTürkçeУкраїнськаاردوTiếngViệt吴语Bân-lâm-gú粵語 編輯連結