各位同學大家好我是中正大學余國瑞老師
今天我們要進行的是智慧型控制的第三部份
類神經網路控制
我們在第一部份的時候已經介紹模糊邏輯控制
也就是用模糊邏輯系統來設計自動控制器
模糊邏輯可以進行系統的推理思考
而在第二部份我們已經學到
利用進化演算法來設計自動控制器
而進化演算法可以幫助我們搜尋問題的最佳解
在第三部份我們所介紹的類神經網路
它在很多地方有很多應用
它可以使系統具有學習 記憶以及訓練的能力
所以它可以用在自動控制系統
物件的分類 圖形的識別 字元的識別以及語音的處理
尤其近年來深度學習的技術發展
使得在醫學方面以及金融方面
類神經網路有更多的應用
現在就讓我們一起來學習類神經網路的奧秘吧
在第一章裡面我們要介紹的是類神經元模型以及感知機
而類神經元的模型它是我們一切類神經網路的基礎
而感知機是我們最早的一種類神經網路
接著我們會介紹感知機的一些應用
比方說它可以用來做物件的分類
接著我們會介紹感知機的延伸也就是適應性的現性元件
由於感知機有些缺點
因此有發展適應性線性元件來改善感知機的一些缺點
最後我們會介紹適應線性元件的一些應用範例
我們會介紹如何利用它來做物件的分類以及字元的識別
接著我們會介紹神經元的模型
在神經元的模型裡面
我們首先會介紹到生物學上裡面神經細胞的種類
接著我們會利用這個生物細胞上的特性
我們建立數學模型 包含了所謂的激化函數
也就是我們利用在生物學上的一些細胞的特性
我們把它建立成數學模型
利用一些轉移函數來模擬神經元細胞的動作
同時我們也介紹了權重值
權重值是在類神經網路是很重要的一個參數
我們可以利用它來做各式各樣的學習以及訓練
McCulloch以及Pitts在1943年提出了第一個
神經元的數學模型
它是一種類神經網路能夠計算任何的代數
或者是邏輯的函數
而Rosenblatt則在1957年提出了第一個感知機的網路
它是第一個實際的網路可以用來進行問題的分類
Widrow跟Hoff在1960年提出來很有名的學習規則
最小平均平方演算法稱之為LMS
用來訓練適應性的線性元件
ADALINE也就是一種單層的類神經網路
而Hopfield在1982年提出了循環的類神經網路
而神經網路的穩定性藉由能量函數而確保
Rumelhart Hinton以及Williams在1986年
應用倒傳遞演算法進行多層類神經網路的學習
LeCun等人則在1989年提出了卷積類神經網路
去進行影像的識別
而利用倒傳遞演算法來做迴旋和係數的自動學習
卷積類神經網路也常拿來用來做深度學習
Hinton等人則在2006年秀出一個深度相信的類神經網路
可以應用一個快速學習的演算法進行有效的訓練
我們的實驗室則在2013年提出了
基於量子計算的演算法
進行類神經網路的最佳化
而LeCun Bengio跟Hinton則在2015年
在Nature雜誌發表了深度學習的期刊論文
人類的大腦包含了大量大約是10的11次方個
高度連接的神經元
而神經元彼此之間透過突觸來連結大約有一萬個
神經元主要有三個成分
也就是樹突 細胞本體以及軸突
突觸是介於一個神經元細胞的軸突
與另外一個神經元細胞的樹突之間的連接點
如圖所示為一個神經元細胞
樹突會傳遞電子的訊號到細胞本體
細胞本體則會總和輸入的訊號
並且發射一個脈波如果這些輸入的訊號超過一個閥值
軸突從細胞本體傳遞電子訊號出去到其他的神經元
而突觸則允許一個神經元通過電子訊號
到另外一個神經元
如圖所示為一個神經元的數學模型
其中輸入訊號p以及偏壓b代表的是樹突
而權重w代表的突觸
網路的輸入訊號為n
激活函數又稱之為轉移函數代表的是細胞本體
輸出訊號a則代表的是軸突
因此網路輸入訊號n會等於wp+b
而輸出訊號a會等於f(n)也就是等於f(wp+b)
經過重複的訓練知識的訊息
可以儲存在連接的權重以及偏壓
偏壓以及權重都是在神經元中可調的純量參數
它們可以經由某些特定的學習規則所訓練
使得神經元的輸入輸出的關係能夠符合特定的目標
如圖所示為具有R個輸入的神經元數學模型
會等效於右邊的方塊圖
其中輸出訊號a=f(wp+b)
而網路的輸入訊號n會等於w11乘上p1加上w12乘上p2
加上w1R乘上pR加上b會等於Wp加上b
轉移函數f可以是網路輸入n的線性或者是非線性函數
常用的轉移函數有第一種是硬限制的轉移函數
第二種是線性的轉移函數
第三種是s型的轉移函數
硬限制轉移函數的圖形如圖所示
最右邊則為座標平移的情形
硬限制轉移函數的數學方程式為
若n大於等於0則輸出a會等於1
若n小於0則輸出a會等於0
線性轉移函數的圖形如圖所示
最右邊為座標轉移的情形
其中數學方程式a等於n也就是輸出訊號會等於輸入訊號
S型的轉移函數如圖所示
最右邊則為座標轉移的情形
其中輸出訊號a會等於1除上1加exp of 負n
n為網路的輸入訊號
類神經網路的架構包含了輸入層也就是接收訊號
輸出層則是產生輸出訊號
隱藏層是介於輸入層跟輸出層之間
隱藏層的數目可以從0到數個隱藏層不等
當在同一層或者是前一層
沒有節點的輸出是另外一個節點的輸入訊號
則這種神經網路稱之為前饋的神經網路
當相同的或者是前一層的節點
輸出訊號是直接回饋成輸入訊號
則這種神經網路稱之為回饋神經網路
回饋的神經網路如果有封閉的迴路
則稱之為循環神經網路
如圖所示為單層的神經網路
R代表是輸入訊號的數目
S代表的是神經元的數目
輸入向量p是長度為R的向量
而偏壓向量b以及輸出向量a則為長度S的向量
權重矩陣W則為具有S列R行的矩陣
單層類神經網路可減化成右邊的方塊圖
其中輸入訊號有R個輸出訊號有S個代表有S個類神經元
而p則為輸入向量
b為偏壓向量
a為輸出向量
w為權重矩陣
多層類神經網路的結構如圖所示
包含了輸入層 隱藏層以及輸出層
其中輸入層的輸出a1=f1(W1p+b1)
而隱藏層的輸出a1=f2(W2p+b2)
最後輸出層的輸出a3=f3(W3p+b3)
在神經網路裡面有兩種學習的方式
第一種是參數的學習
著重在連接權重以及偏壓的調整
第二種是結構的學習著重在神經網路結構的改變
包含了節點的數目以及連接的型態
每一種學習的方式又可以分成三種學習策略
第一種是監督式的學習
第二種是無監督式的學習
第三種則是強化式的學習
監督式學習是從範例中學習
可推導出輸入資料與輸出資料的整體關係
無監督式學習則不是從範例中學習
而是從觀察以及發現中找出資料的特性以及結構
強化式學習是基於環境而行動以取得最大化的預期利益
在學習的過程中強化式的訊號
被用來調整學習者的行動
以反應外界的刺激使得性能的指標最大化
類神經網路的應用非常廣泛
因為它具有非常好的學習能力
不只是在電機 資工或是數學領域
在醫學 商業以及金融都有很多的應用
在這一小節裡面我們學習到了
類神經網路的一些重要的發展過程
從最早的感知機一直到適應性線性元件
還有多層的類神經網路
以及這幾年很流行的這個我們講說CNN
也就是迴旋類神經網路
它是深度學習的一個很重要的一個基礎
接著我們也介紹了在生物學上的神經細胞的一些特性
比方說樹禿還有突觸等等
接著我們學習到神經元的數學模型
我們利用在生物學上的神經細胞的一些特性
我們建立了激化函數也有人稱之為轉移函數
在這邊我們最常用的有包含了purelin
還有這個log-sigmoid以及以及hardlimit
這三種所謂的激化函數或者是轉移函數
當然同時我們也介紹了權重跟偏壓這兩個很重要的參數
接著我們也介紹了神經網路的架構
它包含了單層神經網路以及多層神經網路
接著我們也介紹了不同學習的策略
最常見的有三種第一種是監督式學習
也就是它透過一個目標值來做訓練 學習
第二種是非監督式學習
最後一種是目前在深度學習裡面很常用的一種技巧
叫做強化式學習
以上就是我們這一小節的總結
