深度學習神經網路之運作| 雜誌| 聯合新聞網

由於深度學習是透過模仿人腦的「類神經網路」建構多層神經網路來逐層學習大量資料，並將其應用於解決問題的手法。

神經網路模型可用於處理各種類型之資料。

快訊 斷開汪小菲？張穎穎「甩鍋」否認5大嚴令：不選擇拋妻棄子的人 08:05 udn 雜誌 商業企管 聽新聞 test 0:00/ 0:00 YourbrowserdoesnotsupportHTML5Audio!😢 深度學習神經網路之運作 2021-05-2812:10 聯合新聞網/ 北美智權報 【芮嘉瑋╱工研院技術移轉與法律中心】 ※如欲轉載本文，請與北美智權報聯絡 第三次AI浪潮所興起的機器學習有許多種手法，最受矚目的就是深度學習。

然而，深度學習只是由監督式學習下的類神經網路(NeuralNetwork,NN)所演化出來的，經過這幾年不斷的演化，已從只能處理監督式學習問題擴展到非監督式和強化學習，人工智慧、機器學習和深度學習彼此間之關係及其演進如圖1所示。

圖1.人工智慧、機器學習和深度學習之關係及其演進（圖片來源：芮嘉瑋改編繪製） 因此，類神經網路(NN)是深度學習的基礎，簡言之，它是一種模仿人腦神經組織(又稱神經元)數學模型化的機制。

目前AI晶片的發展則多半在處理深度學習類型的問題，而非處理傳統機器學習及真正人工智慧的問題。

為了了解深度學習晶片或神經網路(NN)晶片的運作，得先了解組成「神經網路(NN)」之神經元結構及其工作原理。

神經元(neuron)，又名神經細胞(nervecell)，是神經系統的結構與功能單位之一，其結構如圖2所示。

人腦的活體神經細胞包括突觸(Synapses)、樹突(Dendrites)、細胞體(CellBody)和軸突(Axon)等四個主要功能組成，其相互運作關係及功能簡述如下： 細胞體(cellbody)：由細胞質基質、細胞器和細胞核組成，故細胞核位於其中。

細胞體是神經元蛋白質合成的主要場所，其運作係由此發出突起，樹突(dendrites)伸展到周圍的神經組織，從突觸中收集脈衝，並將脈衝傳回神經元的心臟，此即細胞體運作功能。

樹突(Dendrites)：是一群由細胞體發出多分支的樹狀突起，它可以是神經元的輸入通道，其功能是將自其他神經元所接收的動作電位(電信號)傳送至細胞本體；樹突也可以是神經元的訊息接收站，因與其他神經元的軸突(Axon)連接而把傳入的訊息送至神經元的本體。

突觸(Synapses)：訊號權重神經元和神經元相接處即稱為突觸(synapse)，因此是神經元之間通信的特異性接頭(junction)，其分散在樹突樹根狀纖維的表面上，依訊號傳遞的方向則可將神經元分為「突觸前神經元(presynapticneuron)」與「突觸後神經元(postsynapticneuron)」。

神經元之間的突觸可以分為化學突觸(chemicalsynapse)和電突觸(electricalsynapse)兩大類。

軸突(Axon)：即神經細胞之細胞體長出突起。

大量軸突牽連一起，以其外型類似而稱為神經纖維。

於神經系統中，軸突是主要神經信號傳遞的渠道，功能為將細胞體之動作電位(電信號或稱輸出脈衝)傳導到神經組織，最終傳導至在其他細胞之樹突上末端的突觸(synapse)。

圖2.典型神經元的結構（照片來源：《解析目前六款類腦芯片，如何顛覆傳統架構》，Chang,Hung-Yang，Oct4,2018） 類神經網路的工作原理即模擬人腦的神經突觸傳遞結構，透過脈衝傳遞訊息。

神經元之間的每個連接可將信號傳遞給另一個神經元，處理信號的方式係透過樹突向連接到它的下游神經元發出信號，突觸具有隨學習進行而變化的權重，這可增加或減小它發送到下游的信號的強度。

此外，它們可具有閾值(threshold)，使得只有在總信號低於或高於該閾值門檻時才發送信號到下游。

每個神經元都與各種輸入相連，一些輸入在神經元中產生激發，而另一些輸入則抑制它，如人工神經網路中的正負權重。

如圖3所示，每個神經元有n個輸入值，例如X0,X1,…….,Xn-1,Xn，而每個輸入值有一個權重(Weight)值，例如W0,W1,……..Wn-1,Wn，把所有(輸入值Xi)乘以(權重值Wi)加總起來，有時會另外加上一個偏置值(bi)來調整，將得到的值再經過一個激發函數(Activationfunction)即可產生新的輸出值Yi，並以Yi=f(∑Xi•Wi+bi)的式子表示。

以圖3為例，由左至右為推論(Inference)，可獲得輸出結果，過程中需要n個權重值Wi加上1個偏置值bi，而這些值是需要經由訓練(Training)取得的。

訓練前須取得許多(越多越好)已知答案或稱為標籤(Label)的訓練資料，如果第一組輸入資料已知答案為(1.0)，但經過推論後只得到0.7，則表示權重及偏置值不理想而需要調整，此時根據差值(1.0–0.7=0.3)由右至左調整每個權重Wi及偏置值bi。

同樣的步驟再輸入第二組資料進行調整，直到所有訓練資料都做過一輪。

圖3.神經網路：神經元工作原理（圖片來源：芮嘉瑋繪製） 為了能處理更複雜的問題，一個神經元可擴展成一組簡單(單層)神經網路，如圖4所示，會有輸入層、隱藏層(HiddenLayer)及輸出層，推論和訓練的概念與一個神經元大致相同。

圖4.簡單(單層)神經網路（圖片來源：https://makerpro.cc/2018/04/ai-chip-meets-maker-creativity-part-one/） 再者，待解決的問題如果更加困難，如圖5所示，則可增加每一層的神經元或隱藏層數來解決，而形成複雜深層的神經網路，稱之類神經網路模型，即所謂的深度學習。

類神經網路模型，係由輸入層(Inputlayer)、隱藏層(Hiddenlayer)及輸出層(Outputlayer)等三層所構成。

類似於人腦內部會有大量稱為「神經元」的神經細胞彼此相連。

神經元按層組織，信號經歷逐層傳送從第一層(即輸入)行進到最後層(即輸出)。

類神經網路利用電腦模仿人類神經細胞接收訊息的結構和功能對訊息進行處理，然後將其發送給其他神經。

神經網路中數以千計的處理節點負責定位圖像、文本和語音等資料中的模式。

這些模式協助演算法確定下一步如何做，並教導自己如何透過每次成功執行任務做得更好。

當一個神經元從其他神經元那裡接收的電氣信號量達某一定值以上，就會神經衝動(興奮)；在某一定值以下，就不會興奮。

興奮起來的神經元，會將電器信號傳送給下一個相連的神經元。

下一個神經元同樣會因此興奮或不興奮。

也就是，彼此相連的神經元，會形成聯合傳遞行為，透過將這種相連的結構來數學模型化，便形成了「類神經網路」。

因此，深度學習是一種以類似人類神經網路(簡稱「類神經網路(NeuralNetwork)」)的方式建構「多層神經網路」，讓人工智慧可以一層一層逐層學習，並進化到可以自我學習的階段，且只要有充分的學習資料輸入類神經網路，不需要人為的幫助它就能自行分析資料找出特徵值。

圖5.深度學習：類神經網路模型（圖片來源：https://meet.bnext.com.tw/blog/view/3220） 由於深度學習是透過模仿人腦的「類神經網路」建構多層神經網路來逐層學習大量資料，並將其應用於解決問題的手法。

神經網路模型可用於處理各種類型之資料。

學習資料則是由輸入資料以及相對應的正確解答所組成，而訓練及機器學習可用以判定待藉由模型用於處理輸入資料之一係數集，即神經網路模型之神經元之間的權重。

以影像辨識為例，神經網路模型可經訓練以辨識經接收輸入影像內是否存在某些類型之物件，為了讓AI學習類神經網路的模型，首先必須先將影像學習資料分割成像素資料，然後將各像素值輸進輸入層。

接受了資料的輸入層，將像素值乘上「權重」後，便傳送給後方隱藏層的神經元。

隱藏層的各個神經元會累加前一層所接收到的值，並將其結果再乘上「權重」後，傳送給後方的神經元。

最後，經由輸出層的神經元的輸出，便可得到影像辨識的預測結果。

為了讓輸出層的值跟各個輸入資料所對應的正解資料相等，會對各個神經元的輸入計算出適當的「權重」值。

這個權重的計算，一般是使用「誤差倒傳遞演算法」（ErrorBackPropagation），使用與正解資料之間的誤差，從輸出層逆推回去。

透過各「權重」的調整，來縮小輸出層的值與正解資料的值之間的誤差，以建立出完成學習的模型。

2006年辛頓(GeoffreyHinton)開發出自動編碼器(Autoencoder，簡稱自編碼)，利用以自動編碼器所獲得的類神經網路權重參數值進行初始化，應用在「誤差倒傳遞演算法」以提高多層類神經網路的學習準確度。

即在類神經網路的輸入層和輸出層使用相同資料，並將隱藏層設置於二者之間，藉此用來調整類神經網路之間的權重參數，從而使深度學習成為一種只要將資料輸入類神經網路便能自行抽出特徵的人工智慧，稱之為「特徵學習」(featurelearning)。

與機器學習不同，深度學習分類不容易根據學習方法或目標進行分類。

Asoh等人將深度學習分為確定性模型(deterministicmodel)和概率模型(probabilisticmodel)。

確定性模型中的代表性演算法至少包括深度神經網路(deepneuralnetwork)、遞歸神經網路(recurrentneuralnetwork，RNN)、卷積神經網路(convolutionneuralnetwork，CNN)以及自動編碼器(autoencoder)。

至於概率模型，通常使用受限玻爾茲曼機(restrictedboltzmannmachine，RBM)、深度玻爾茲曼機(DeepBoltzmannMachines，DBM)和深度置信網(deepbeliefnetwork，DBN)。

表1整理出AI機器學習和深度學習中常見之演算法。

表1.機器學習和深度學習常見的演算法（整理製表：芮嘉瑋） 【詳細內容請見《北美智權報》285期；歡迎訂閱《北美智權報》電子報】 只靠央行打房效果恐怕相當有限 自金融海嘯開始，央行打房已經有了10多年歷史，只是從各項統計數字來看，台灣房地產市場行情──尤其是一般人最關切的房價還是節節高升。

很明顯地，若想要平抑房價，不能夠只靠央行的金融政策。

2022-01-0612:01 從「泡菜」到「辛奇」那些韓國教我們有關產業形象的事 隨著韓國影劇的發展，在日本東京都新大久保一帶可見滿滿的韓式彩妝百貨，還有韓國物產超市，可以說韓國在面對外銷市場的集體品牌形象已然建立。

韓國首都正名「首爾」跟韓國泡菜正名為「辛奇」，都顯示著時代的改變以及背後所投入的心力。

2022-02-1014:46 三大推力接連出現通膨問題如何解？ 從2020年第3季開始，物價高漲成為最受關注的社會議題。

然而與肺炎疫情不同的是，並非每個國家在當前都有物價上漲的問題；就算有，其背後的成因也不盡相同，想要有效緩解自然難上加難。

2022-01-2015:30 2022年市場展望／競爭加劇！面板市場進入價格修正期 2021年對面板產業而言，上下半年的市場需求冷暖差異極大。

上半年面板市場持續承接2020年延伸而來的強勁需求，更衍生了缺貨問題，加劇面板需求的熱度。

但進入下半年後，隨著主要區域疫苗覆蓋率提升，以及消費動能的放緩，持續帶動成長的引擎逐漸熄火，面板市場需求開始出現轉弱的訊號。

展望2022年，觀察面板產業供給需求端的變化，劇烈的市場競爭及價格修正恐將難以避免….. 2022-01-2008:42 藻礁公投之後的三大變數 今年12月18日，我國首次「未與公職人員選舉共同舉辦」之四案公民投票，因同意票之票數未超過投票權人總數25％且同意票未超過不同意票，均未通過。

依公民投票法第31條及第32條第1項之規定，公民投票案不通過者，主管機關應於投票完畢七日內公告公民投票結果，並通知提案人之領銜人。

主管機關公告公民投票之結果起二年內，不得就同一事項重行提出。

此為藻礁公投不通過之後的直接法律效果，政府或投下不同意票的選民，或可安心兩年內毋庸再面對同一事項公投。

2022-01-0612:06 「元宇宙」概念會如何改變資通訊產業面貌？ 近一、二個月來，科技業界關於「元宇宙」的討論從沒消失過，雖然概念內涵、應用商機眾說紛紜，但每個人都同意的是，元宇宙將是網際網路問世這幾十年來，最大的一波變革，我們使用網路、甚至日常生活、工作的方式，都可能與過往大不相同。

2021-12-2413:20 共0則留言 規範 發布 張貼文章或下標籤，不得有違法或侵害他人權益之言論，違者應自負法律責任。

對於明知不實或過度情緒謾罵之言論，經網友檢舉或本網站發現，聯合新聞網有權逕予刪除文章、停權或解除會員資格。

不同意上述規範者，請勿張貼文章。

對於無意義、與本文無關、明知不實、謾罵之標籤，聯合新聞網有權逕予刪除標籤、停權或解除會員資格。

不同意上述規範者，請勿下標籤。

凡「暱稱」涉及謾罵、髒話穢言、侵害他人權利，聯合新聞網有權逕予刪除發言文章、停權或解除會員資格。

不同意上述規範者，請勿張貼文章。

More 《北美智權報》是台灣最具代表性的智慧財產權電子報，內容涵蓋：熱門產業專利及趨勢分析、美台中及歐洲等各國智權法規解析、侵權訴訟、專利應用、智權管理、產業研發創新等文章，可幫助業者在充滿競爭的市場中，高效率地學習進軍全球市場所需的智權關鍵知識。

美國著作權局拒絕AI畫作申請登記著作權 扶植新創智財權先行：《新加坡IP策略2030》帶來的啟示 5G結合藝文娛樂文化科技跟上數位轉型潮流 RIMOWA案更審：智財商業法院如何回應最高法院？ 2022年《全球百大創新機構》出爐通訊和工業系統將主導未來產業創新