神經網絡學習規(guī)則范文

導語：如何才能寫好一篇神經網絡學習規(guī)則，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務員之家整理的十篇范文，供你借鑒。

篇1

【關鍵詞】模糊系統(tǒng)；神經網絡；結合；現狀

中圖分類號：Q189文獻標識碼： A 文章編號：

一、前言

隨著我國經濟的快速發(fā)展，我國的各項事業(yè)都取得了巨大的成就。其中模糊系統(tǒng)與神經網絡的結合就是重要的體現，模糊系統(tǒng)與神經網絡的結合在很多方面都得到了應用，同時也引起了更多學者研究其的愿望。相信模糊系統(tǒng)與神經網絡的結合在未來會發(fā)展的更好。

二、模糊系統(tǒng)與神經網絡概述

1、模糊系統(tǒng)與神經網絡的概念

（1）、模糊系統(tǒng)概念

模糊系統(tǒng)(Fuzzy System, 簡稱 FS)是仿效人的模糊邏輯思維方法設計的系統(tǒng), 方法本身明確地說明了系統(tǒng)在工作過程中允許數值量的不精確性存在。

（2）、神經網絡概念

神經網絡( Neural Network, 簡稱 NN) 是由眾多簡單的神經元連接而成的網絡。盡管每個神經元結構、功能都不復雜, 但網絡的整體動態(tài)行為極為復雜, 可組成高度非線性動力學系統(tǒng), 從而可表達許多復雜的物理系統(tǒng)。神經網絡的研究從上世紀40年代初開始, 目前, 在世界范圍已形成了研究神經網絡前所未有的熱潮。它已在控制、模式識別、圖像和視頻信號處理、金融證券、人工智能、軍事、計算機視覺、優(yōu)化計算、自適應濾波和A/D變換等方面獲得了應用。

2、模糊系統(tǒng)與神經網絡的異同

（1）映射集及映度

神經網絡是用點到點的映射得到輸入與輸出的關系, 它的訓練是確定量, 因而它的映射關系也是一一對應的; 模糊系統(tǒng)的輸入、輸出都是經過模糊化的量, 不是用明確的數來表示的, 其輸入輸出已模糊為一個隸屬度的值,因此它是區(qū)域與區(qū)域間的映射, 可像神經網絡一樣映射一個非線性函數。

（2）知識存儲方式

神經網絡的基本單元是神經元, 對映射所用的多層網絡間是用權連接的, 因此學習的知識是分布在存儲的權中間的, 而模糊系統(tǒng)則以規(guī)則的方式來存儲知識, 因此在隸屬函數形式上, 區(qū)域的劃分大小和規(guī)則的制定上人為因素較多。

（3）聯(lián)結方式

神經網絡的聯(lián)結, 以前饋式網絡為例, 一旦輸出的隱層確定了, 則聯(lián)結結構就定了, 通過學習后, 幾乎每一個神經元與前一層神經元都有聯(lián)系, 因此, 在控制迭代中, 每迭代一次,各權都要學習。而在模糊系統(tǒng)中, 每次輸入可能只與幾條規(guī)則有關, 因此聯(lián)結不固定, 每次輸入輸出聯(lián)系的規(guī)則都在變動, 而每次聯(lián)結的規(guī)則少, 運算簡單方便。

（4）計算量的比較

人工神經網絡的計算方法需要乘法、累加和指數運算, 而模糊系統(tǒng)的計算只需兩個量的比較和累加, 又由于每次迭代的規(guī)則不多, 因此在實時處理時, 模糊系統(tǒng)的速度比神經網絡快。但是當模糊輸入與輸出變量很多的時候,模糊規(guī)則僅靠一張表已不能描述多變量間的關系, 且規(guī)則的控制存在一定困難, 此時人為的先驗指數變得較少, 那么隸屬函數、規(guī)則本身都要通過學習得到, 因此它的計算量也會增加。

三、模糊和神經網絡的結合形式

目前,模糊和神經網絡技術從簡單結合到完全融合主要體現在四個方面(見圖1)。由于模糊系統(tǒng)和神經網絡的結合方式目前還處于不斷發(fā)展的進程中,所以,還沒有更科學的分類方法,下述結合方式是從不同應用中綜合分析的結果。

1、模糊系統(tǒng)和神經網絡系統(tǒng)的簡單結合(見圖1(a))

模糊系統(tǒng)和神經網絡系統(tǒng)各自以其獨立的方式存在,并起著一定的作用。¹松散型結合 在一系統(tǒng)中,對于可用“if-then”規(guī)則來表示的部分,用模糊系統(tǒng)描述;而對很難用“if-then”規(guī)則表示的部分,則用神經網絡,兩者之間沒有直接聯(lián)系。

（1）并聯(lián)型結合 模糊系統(tǒng)和神經網絡在系統(tǒng)中按并聯(lián)方式連接,即享用共同的輸入。按照兩系統(tǒng)所起作用的輕重程度,還可分為等同型和補助型。

（2）串聯(lián)型結合 模糊系統(tǒng)和神經網絡在系統(tǒng)中按串聯(lián)方式連接,即一方的輸出成為另一方的輸入。

圖表 1模糊系統(tǒng)與神經網絡結合形式分類

2、用模糊邏輯增強的神經網絡。這種結合的主要目的是用模糊神經系統(tǒng)作為輔助工具,增強神經網絡的學習能力,克服傳統(tǒng)神經網絡容易陷入局部極小值的弱點。

3、用神經網絡增強的模糊邏輯

這種類型的模糊神經網絡是用神經網絡作為輔助工具,更好地設計模糊系統(tǒng)。

（1）網絡學習型的結合 模糊系統(tǒng)設計的關鍵是知識的獲取,傳統(tǒng)方法難于有效地獲取規(guī)則和調整隸屬度函數,而神經網絡的學習能力能夠克服這些問題,故用神經網絡增強的模糊系統(tǒng)。

（2）基于知識擴展型的結合 神經網絡和模糊系統(tǒng)的結合是為了擴展知識庫和不費時地對知識庫進行修正,增強系統(tǒng)的自學習能力,這種自學習能力是靠神經網絡和模糊系統(tǒng)之間進行雙向。

4、模糊系統(tǒng)與神經網絡的等價

（1）函數通近

模糊系統(tǒng)與神經網絡除了都是無模型系統(tǒng)外,它們都是函數的全局逼近器.模糊系統(tǒng)以其插值機理來逼近任意的連續(xù)函數。不但傳統(tǒng)的模糊系統(tǒng)模型是任意連續(xù)函數的全局逼近器,而且神經網絡與模糊系統(tǒng)的不同結合能逼近不同的函數,如模糊神經網絡可以逼近模糊函數，神經網絡也是任意連續(xù)函數的全局逼近器。設任意連續(xù)函數h(x),對于緊空間X和任意小的正數,總能找到一個三層的前向神經網絡N(x)滿足:

在前向神經網絡家族中,RBF神經網絡是最優(yōu)的函數逼近器,即對于任意的神經網絡N(x)總存在一個RBF神經網絡N‘(x),滿足:

（2）神經網絡與模糊系統(tǒng)的等價性

模糊系統(tǒng)和神經網絡的等價性主要有兩個方面:模型的等價性和Madani模型的等價性。對于TS模型.首先Jang〔,5〕給出了標準的Gauss,anRBF神經網絡等價于限制的Ts一型模糊系統(tǒng)。Hunt指出推廣的GaussianRBF神經網絡等價于TS一型模糊系統(tǒng)。Benitez證明了若一個三層的神經網絡,隱含單元的激發(fā)函數為對數函數(loglst1C),輸出層的激發(fā)函數為單元函數.設N(x),則存在一個模糊系統(tǒng)的輸出也為N(x)。

四、模糊系統(tǒng)與神經網絡結合的現狀

目前, FS和NN的結合主要有模糊神經網絡和神經模糊系統(tǒng)。神經模糊系統(tǒng)是以NN為主, 結合模糊集理論。它將NN作為實現FS 模型的工具, 即在NN的框架下實現FS或其一部分功能。神經模糊系統(tǒng)雖具有一些自己所具有而NN不具備的特性, 但它沒有跳出NN 的框架。神經模糊系統(tǒng)從結構上來看, 一般是四層或五層的前向神經網絡。模糊神經網絡是神經網絡的模糊化。即以模糊集、模糊邏輯為主, 結合 NN 方法, 利用NN的自組織性, 達到柔性信息處理的目的。目前,FS理論和NN結合主要應用于商業(yè)及經濟估算、自動檢測和監(jiān)視、機器人及自動控制、計算機視覺、專家系統(tǒng)、語音處理、優(yōu)化問題、醫(yī)療應用等方面, 并可推廣到工程、科技、信息技術和經濟等領域。

五、模糊神經網絡的發(fā)展方向及存在問題

然模糊神經網絡得到了突飛猛進的發(fā)展,但目前還存在很多問題:（1）多變量、復雜控制系統(tǒng)中,很難確定網絡的結構和規(guī)則點的組合“爆炸”問題；（2）傳統(tǒng)的Bp學習方法昜陷入局部極小值,并切學習速度較慢。

發(fā)展方向主要集中于:（1）模糊邏輯和神經網絡的對應關系,將模糊控制器的調整轉化為等價的神經元網絡學習,利用等價的模糊邏輯來初始化神經元網絡；（2）尋找一般模糊集的模糊神經網絡的學習算法

七、結束語

近年來隨著信息技術的發(fā)展，模糊理論和人工神經網絡近年來取得了引人注目的進展, 模糊理論和人工神經網絡的各個方面都取得了越來越多的成果。 通過不斷的努力，我們一定可以進一步的推進模糊理論和神經網絡將會在發(fā)展新理論, 完善各自體系。相信在未來的研究中，模糊和神經網絡的結合

將會為研究更高智能系統(tǒng)開創(chuàng)一條成功之路，造福人類。

參考文獻

[1]劉增良.模糊技術與應用選篇[J].京航空航天大學出版社,1997.

[2]莊鎮(zhèn)泉,章勁松.神經網絡與智能信息處理[J].中國科學技術大學,2000.

篇2

關鍵詞：自主導航；人工智能；模糊神經網絡；避障；BP神經網絡

中圖分類號：TP79文獻標識碼：A文章編號：1005-3824（2014）03-0083-03

0引言

2013年12月14日21時11分，嫦娥三號探測器在月球表面預選著陸區(qū)域成功著陸，裝著紅外成像光譜儀、避障相機、機械臂和激光點陣器等設備的月球車“玉兔”驅動著6個輪子在月球表面留下了歷史的痕跡。這標志著我國已成為世界上第3個實現地外天體軟著陸的國家，也展現出了智能控制系統(tǒng)[1]在航天事業(yè)上的卓越應用。在如今的社會生活中，隨處體現著智能技術的存在，人們已經離不開智能技術，智能機器人的發(fā)展也飛速前進，從兒童的玩具機器人到太空探索的機器人，可以預見智能機器人的應用將更加廣泛。近年來，非線性動態(tài)系統(tǒng)的自適應控制在我國引起了廣泛的研究，模糊神經網絡控制是一個重要的自適應方法，因此得到了很多專家學者的青睞。

模糊邏輯控制在宏觀上模仿人的思維，處理語言和思維中的模糊性概念，它是以模糊集合論、模糊語言變量和模糊邏輯推理為基礎的一種計算機數字控制技術；神經網絡是從微觀上模仿人的智能行為，進行分布式并行信息處理算法的數學模型，它是根據人腦的生理結構和信息處理過程創(chuàng)造的[2]。模糊控制與神經網絡各自都有一定的應用局限，因此，人們早在20世紀80―90年代就把它們相結合，組成更為完善的控制方法。模糊控制與神經網絡的結合有多種方式，根據研究角度和應用領域的變化而不同。1模糊控制與神經網絡的介紹

1.1模糊邏輯控制系統(tǒng)

模糊邏輯控制系統(tǒng)主要包含輸入變量、模糊控制器、被控對象和偏差。模糊邏輯控制系統(tǒng)結構如圖1所示。

知識庫：是模糊控制器的核心。由數據庫和規(guī)則庫組成，數據庫中存著有關模糊化、模糊推理、解模糊的一切知識，規(guī)則庫是由若干模糊規(guī)則組成的。

模糊推理機：根據模糊邏輯法則把邏輯規(guī)則庫中的模糊“if-then”轉換成某種映射。

反模糊化：反模糊化的方法一般有最大隸屬度平均法、最大中點法、面積等分法、重心法和加權平均法等。

模糊控制的優(yōu)點：可以在預先不知道被控對象的精確數學模型；規(guī)則一般是由有經驗的操作人員或者專家的經驗總結出來并且以條件語句表示的，便于學習和理解；控制是由人的語言形式表示，有利于人機對話和系統(tǒng)知識的處理等。不足之處：精度不夠高；自適應能力有限；模糊規(guī)則庫非常龐大，難以進行更改優(yōu)化[3]。

1.2人工神經網絡

人工神經網絡（ANN）是一種模擬人腦神經系統(tǒng)的結構和功能的運算模型，由大量的節(jié)點，即神經元及相互之間連接構成的，它是人工方式構造的一種網絡系統(tǒng)。神經元結構模型如圖3所示。

傳遞函數f又稱轉移函數或激活函數，是單調上升的有界函數，常用的轉移函數有線性函數、斜坡函數、階躍函數及單雙極S型函數等。但是最常用的還是單極S型函數：

神經網絡的結構形式也有幾種，例如，全互連型結構、層次型結構和網孔型結構等[4]。前饋型網絡是一類單方向層次型網絡模塊，其最基本的單層神經元網絡如圖4所示。

圖4單層神經元網絡3層BP神經網絡是比較常用的結構，圖5是它的基本結構。

圖5BP神經網絡的基本結構BP神經網絡至少有3層，圖5中，第Ⅰ層是輸入層，第Ⅱ層為隱藏層，第Ⅲ層為輸出層。由于3層的BP神經網絡就具有了模糊系統(tǒng)中萬能逼近的能力[5]，為了不使系統(tǒng)變得更復雜，本文就只用了3層的BP神經網絡，當然，也可以根據自身的實際應用情況增加隱層的層數，但并不是層數越多，精度就越高，相對的系統(tǒng)的反應時間就會增加，時延也會增長。

神經網絡的優(yōu)點：能夠通過學習和訓練獲取用數據表達的知識，不僅可以記憶一直獲得的信息，還具有較強的概括及聯(lián)想記憶能力，它的應用已經延伸到各個領域，在各方面取得很好的進展等。不足之處：缺乏統(tǒng)一的方法處理非線性系統(tǒng)；網絡的權值是隨機選取的；學習的時間長；無法利用系統(tǒng)信息和專家經驗等語言信息；難以理解建立的模型等[6]。

所以，綜合以上模糊邏輯系統(tǒng)與神經網絡各自的優(yōu)缺點，就提出了一種它們的結合方法，即模糊神經網絡控制方法。

2模糊神經網絡的結合方式

模糊神經網絡大致分為3種形式：邏輯模糊神經網絡、算術模糊神經網絡和混合模糊神經網絡。

在這3種形式的系統(tǒng)中，模糊神經混合系統(tǒng)是根據模糊控制系統(tǒng)和神經網絡各自不同的功能、用途集成在一個系統(tǒng)里面的[7]。在這類系統(tǒng)中，我們可以將神經網絡用于輸入信號處理，模糊邏輯系統(tǒng)用于行為決策[8]（如圖6），或者把模糊邏輯系統(tǒng)作為輸入信號處理，神經網絡系統(tǒng)作為輸出行為決策，再或者是將神經網絡去代替模糊控制器的一部分，還可以將基于神經元網絡的模糊系統(tǒng)或者神經元網絡用在模糊神經混合系統(tǒng)中。

在本文的應用中，使用的是輪式智能小車，它一共安裝了3個超聲波傳感器、3個紅外傳感器和1個角度傳感器，紅外傳感器除了應用在小車循跡外，還用來增加控制系統(tǒng)測量的精確性和彌補超聲波測距的盲區(qū)。例如，在某一路或者幾路超聲波受到了外界的干擾時，紅外線就可以測量出系統(tǒng)所需要的數量值。超聲波與紅外線用來測量小車到左、前、右障礙物的距離Ll，Lf，Lr；模糊神經系統(tǒng)中控制器的輸入包括： Ll，Lf，Lr，小車與障礙物的夾角tg；輸出為小車的轉角sa和小車的加速度va。將Ll，Lf，Lr的模糊變量設為{near ，far}，論域為（0―2 m）；tg的模糊變量為{LB，LM，ZO，RM，RB}表示{左大，左小，零，右小，右大}，論域為（-1800，1800）；距離和夾角的隸屬度函數如圖7和圖8所示。輸出變量的隸屬度函數在這里就不再贅述了。

在系統(tǒng)解模糊化時，是將一個模糊量轉換成確定量，常用的解模糊化的方法有最大隸屬度函數法、重心法、加權平均法。在本文中用的是重心法。

智能小車避障的控制系統(tǒng)如圖9所示。

篇3

關鍵詞：人工神經網絡；Hopfield神經網絡；聯(lián)想記憶

DOIDOI：10.11907/rjdk.161853

中圖分類號：TP391

文獻標識碼：A文章編號文章編號：16727800（2016）009014603

基金項目基金項目：

作者簡介作者簡介：余洋（1994-），男，湖北隨州人，四川理工學院自動化電子信息學院碩士研究生，研究方向為智能控制；傅成華（1958-），男，四川富順人，四川理工學院自動化與電子信息學院教授、碩士生導師，研究方向為先進控制與系統(tǒng)優(yōu)化、神經網絡與非線性信息處理。

0引言

Hopfield于1982年提出了一種新型的神經網絡――Hopfield網絡模型。它采用了與層次型人工神經網絡完全不一樣的結構特征和學習方法來模擬生物神經網絡的記憶機理，首次使用“能量函數”的概念，并且說明了此神經網絡與動力學之間的關系，使得判斷神經網絡在工作過程中的穩(wěn)定性有了非常簡便和可靠的依據。該神經網絡非常利于人們理解學習，也可以比較方便地在集成電路中實現。Hopfield神經網絡根據網絡輸入輸出的不同分為兩種形式：離散型Hopfield神經網絡和連續(xù)型Hopfield神經網絡，兩種形式的神經網絡應用領域也各不相同。本文使用離散型Hopfield神經網絡實現聯(lián)想存儲器設計。

1離散型Hopfield神經網絡

離散型Hopfield神經網絡是由n個神經元相互連接而成的二值神經網絡[12]，并且各神經元之間的連接是雙向的，連接強度用權值表示。網絡的全互聯(lián)結構如圖1所示。神經元的輸出為離散值0（或-1）和1，分別代表神經元的抑制和激活狀態(tài)。由于神經網絡的時間離散特性，因而其被稱為離散型Hopfield神經網絡[3]。

這種連接方式使得離散型Hopfield神經網絡中每個神經元的輸出均通過神經元之間的連接權值反饋到同一層次的其它神經元，并作為該神經元的輸入，從而使各神經元之間相互制約，保證離散型Hopfield神經網絡在沒有外部輸入的情況下也能進入穩(wěn)定狀態(tài)。

兩個互聯(lián)神經元之間的連接權值相同（wij=wji），每個神經元到其自身的連接權值為0，即wii =0。

1.1處理單元模型

離散型Hopfield神經網絡的單個神經元結構如圖2所示，單個神經元采用M-P模型進行信息處理，假設神經網絡有n個神經元，以xj表示神經元j的輸出（也稱為神經元的狀態(tài)），wij表示神經元i與神經元j之間的連接權值，θj表示神經元j的閾值。

神經元j的凈輸入sj=∑ni=1xiwij-θj（1）

神經元j的輸出 xj=f（sj）=sgn（sj）=1sj>0-1sj≤0（2）

1.2網絡狀態(tài)及運行規(guī)則

離散型Hopfield神經網絡的狀態(tài)由網絡所有（n個）神經元的狀態(tài)集合構成，在任意一個給定的時刻t，離散型Hopfield神經網絡的狀態(tài)表示為：

X（t）=（x1 ，x2 ，…，xn ）（3）

離散型Hopfield神經網絡是全互聯(lián)反饋式的連接結構，每個神經元都會接收到全部神經元的反饋信息，故當網絡中的各神經元狀態(tài)改變時，整個網絡狀態(tài)也隨之變化。當網絡中各神經元的輸出狀態(tài)都不再改變時就表示網絡達到穩(wěn)定狀態(tài)（即xj （t+1）=xj （t）=f（sj （t）））。神經網絡要達到穩(wěn)定狀態(tài)需要經過反復更新，學習訓練。

離散型Hopfield神經網絡的工作過程就是網絡狀態(tài)的動態(tài)演化過程，即從網絡初始狀態(tài)沿能量遞減的方向不斷演化的過程，直到達到網絡的穩(wěn)定狀態(tài)，這時網絡的穩(wěn)定狀態(tài)就是網絡的輸出。離散型Hopfield神經網絡工作時有以下運行步驟：①對網絡進行初始化；②從網絡中隨機選取一個神經元i；③按照式（1）計算神經元i在t時刻的凈輸入si （t）；④按照式（2）計算神經元i在t+1時刻的輸入xi（t+1），此時網絡中除i以外的其它神經元j的輸出保持不變，即xj（t+1）=xj（t）其中i ≠j；⑤按照式xj（t+1）=xj（t）=f（sj（t））判斷網絡是否達到了穩(wěn)定狀態(tài)，如果未達到穩(wěn)定狀態(tài)就轉到②繼續(xù)進行，如果網絡達到穩(wěn)定狀態(tài)則網絡的工作過程終止。

1.3離散型Hopfield神經網絡的能量函數

Hopfield神經網絡的一大特點就是引入了“能量函數”，它表明了神經網絡與動力學之間的關系。上文也提到，網絡運行時在網絡狀態(tài)不斷變化過程中，網絡的能量值不斷遞減，直到達到穩(wěn)定狀態(tài)。這說明網絡的能量值與網絡的穩(wěn)定狀態(tài)有著十分密切的關系。能量函數定義為：

E=-12∑ni=1∑nj=1wijxixj+∑ni=1θixi（4）

Hopfield神經網絡實際上是一個非線性動力系統(tǒng)，網絡按動力學方式運行，網絡狀態(tài)的變化過程實際上是使能量極小化的過程：每次神經元狀態(tài)改變時，整個網絡的能量應單調遞減，即能量與以前相同或下降。證明如下：

設任一神經元j由式（4）得神經元j的能量為：

Ej=-12∑ni=1wijxixj+θjxj（5）

該式可變換為：

Ej=-12xj∑ni=1wijxi+θjxj（6）

由t時刻到t+1時刻神經元j的能量變化為：ΔEj=Ej（t+1）-Ej（t）= -Δxj（∑ni=1wijxi-θj）+12Δxj∑ni=1wijxi（7）

由于在t+1時刻只有神經元j調整狀態(tài)，并且各神經元不存在自反饋，式（7）可簡化為：

ΔEj= -Δxj（∑ni=1wijxi-θj）（8）

在t+1時刻共有以下3種可能情況來分析ΔEj的大小從而論證網絡能量值的改變方向：①如果神經元j的狀態(tài)不發(fā)生變化，即xj （t+1）=xj （t），則Δxj=0，由式（8）可知ΔEj=0；②如果神經元j的狀態(tài)發(fā)生變化，是從-1變?yōu)?，則Δxj=2，此時由式（1）和式（2）可知∑ni=1wijxi-θj>0，再由式（8）得ΔEj

綜上可知，從t時刻到t+1時刻，無論神經元j的狀態(tài)如何變化，其能量的改變量均為ΔEj≤0。由于神經元j是網絡中任意一個神經元，而網絡中的神經元又都是按照同一規(guī)則來更新狀態(tài)的，因而整個網絡的能量一直向減少的方向進行。網絡變化的過程就是網絡能量的極小化過程，因為能量函數是有界的，故網絡一定會趨于穩(wěn)定狀態(tài)，該穩(wěn)定狀態(tài)就是網絡的輸出。離散型Hopfield神經網絡能量函數的變化曲線如圖3所示，能量函數的變化過程可以看作是下坡的過程，當網絡的狀態(tài)隨時間改變時，整個網絡的能量沿著下降最快的方向改變，最終停在整個網絡能量的極小點[4]。這些極小點有全局極小點c，也有局部極小點a、b，最終落入哪種極小點取決于網絡的初始狀態(tài)。網絡能量函數變化曲線如圖3所示。

1.4關于離散型Hopfield神經網絡聯(lián)想記憶的連接權值設計

離散型Hopfield神經網絡可以應用于聯(lián)想記憶[5]，其聯(lián)想記憶的基本原理是利用能量函數的極值點，網絡將記憶的樣本信息存儲在不同的能量極值點上，當網絡輸入某一種模式時，網絡工作到穩(wěn)定狀態(tài)后能夠“聯(lián)想記憶”出與其相關的其它存儲樣本，從而實現聯(lián)想記憶。并且神經網絡都有很好的容錯性能，即使是對一些不全的、破損的、變形的輸入信息，網絡也能夠很好地將其恢復成比較完整的原型信息。記憶是聯(lián)想的前提，必須先將信息存儲起來，才能按照某種方式或規(guī)則再取出相關信息，能量極值點存儲記憶模式，而網絡的連接權值和閾值決定這些極值點的分布，因此網絡聯(lián)想記憶的關鍵就是根據能量極值點和需要被記憶的模式設計一組恰當的網絡連接權值和閾值。

網絡在沒有記憶之前是空白狀態(tài)，只有設計了恰當的連接權值和閾值才會使網絡具有知識，連接權值的設計調整過程就是網絡的學習過程。離散型Hopfield神經網絡一般用Hebb規(guī)則的外積和法來設計權值。方法具體如下：

假設網絡共有n個節(jié)點，W是網絡的連接權矩陣，如果網絡一共處理m個兩兩正交的模式樣本，則網絡的學習記憶集合為xk=（xk1，xk2，…，xkn）（k=1，2，…，m）。

（1）若m=1只有一個學習模式，學習記憶集合為X1，對于輸入模式X1，如果網絡達到穩(wěn)定狀態(tài)，有：

X1=sgn（XW），即x1j=sgn（∑ni=1wijx1i）j=1，2， …，n（9）

由sgn函數的特點可知，若滿足x1j（∑ni=1wijx1i）>0，即若連接權值wij正比于x1jx1i，則式（9）成立。綜合可得，網絡的連接權值與輸入模式向量的每個分量之間滿足關系：

wij=αx1jx1iα為常數而且大于零（10）

（2）如果有多個學習模式，則可將式（10）進行推廣有：

wij=α∑mk=1xkjxkiα為常數而且大于零（11）

由wii=0可將式（11）改寫為：

W=α∑mk=1[（Xk）TXk-I]α為常數而且大于零，I為nxn的單位矩陣（12）

在設計好網絡連接權矩陣后，網絡就處于正常工作狀態(tài)，加載輸入模式向量時，網絡可以進行模式的記憶及聯(lián)想。

2聯(lián)想記憶功能實現證明

聯(lián)想記憶的過程分為兩個階段：第一階段是記憶階段（也稱存儲階段、學習階段），它是聯(lián)想記憶的關鍵，其處理過程是將記憶模式作為網絡的穩(wěn)定狀態(tài)，并通過設計或學習獲得需要的網絡連接權值；第二階段是聯(lián)想階段（也稱回憶階段），此階段是利用網絡進行回憶，將給定的輸入模式作為網絡的初始狀態(tài)，網絡按照既定的運行規(guī)則不斷演化，一直演化到網絡的穩(wěn)定狀態(tài)，此時網絡的穩(wěn)定狀態(tài)就是回憶出的記憶模式。下面舉例證明離散型Hopfield神經網絡是如何實現聯(lián)想記憶功能。設有一個4神經元的離散型Hopfield神經網絡，各神經元的閾值為0，其中存儲了兩個模式，模式一X1為（1，1，1，1），模式二X2為（-1，-1，-1，-1），每個存儲模式由兩部分組成：名稱和顏色。前兩神經元存儲的是名稱，后兩個神經元存儲的是對應的顏色。模式一表示“藍色的天空”，前兩個1表示天空，后兩個1表示藍色的；模式二表示“綠色的樹”，前兩個-1表示樹，后兩個-1表示綠色的，當網絡上加載信息不全或錯誤地輸入模式三X3=（1，1，-1，1）時，讓網絡聯(lián)想記憶輸出模式X1。若想讓網絡聯(lián)想輸出模式X1，必須首先設計網絡的連接權值，讓網絡記憶模式一和模式二，然后讓網絡加載輸入模式三運行到穩(wěn)定狀態(tài)。將網絡要存儲的模式一和模式二設計為網絡的兩個穩(wěn)定狀態(tài)，由此設計網絡的連接權值。根據式（12），設α=1得網絡的連接權矩陣為；

W=（X1）TX1+（X2）TX2-2I=0222202222022220

設計好連接權值后，將模式三加載至網絡，然后按照網絡運行規(guī)則讓網絡運行：

t=0：網絡的初始狀態(tài)X（0）=（1，1，-1，1）；

t=1：選取節(jié)點1，節(jié)點1的狀態(tài)為x1（1）=sgn[1×0+1×2+（-1）×2+1×2]=sgn[2]=1

網絡狀態(tài)X（1）=（1，1，-1，1）；

t=2：選取節(jié)點2，節(jié)點2的狀態(tài)為x2（2）=sgn[1×2+1×0+（-1）×2+1×2]=sgn[2]=1

網絡狀態(tài)X（2）=（1，1，-1，1）；

t=3：選取節(jié)點3，節(jié)點3的狀態(tài)為x3（3）=sgn[1×2+1×2+（-1）×0+1×2]=sgn[6]=1

網絡狀態(tài)X（3）=（1，1，1，1）；

t=4：選取節(jié)點4，節(jié)點4的狀態(tài)x4（4）=sgn[1×2+1×2+1×2+1×0]=sgn[6]=1

網絡狀態(tài)X（4）=（1，1，1，1）；………

按此規(guī)則循環(huán)運行下去直到網絡狀態(tài)不再改變，網絡處于穩(wěn)定狀態(tài)，網絡的輸出就是（1，1，1，1），也即網絡存儲的記憶模式一X1=（1，1，1，1）。同理，當網絡加載模式四X4=（-1，-1，1，-1）時，網絡也可聯(lián)想記憶輸出模式二。從而證明了離散型Hopfield神經網絡具有聯(lián)想記憶功能。

3結語

神經網絡的聯(lián)想記憶功能雖然很強，但是也存在一些缺陷。由于聯(lián)想記憶能力受到了記憶容量和樣本差異的制約，當記憶的模式較多且容易混淆時，網絡不能夠很好地辨別出正確模式，而且達到的穩(wěn)定狀態(tài)也往往不是記憶住的模式。并且，所有記憶模式不是以同樣的記憶強度回想出來的。

參考文獻參考文獻：

[1]周非.基于RBF網絡和逆模型的汽油機瞬態(tài)空燃比控制[D].成都：西華大學，2006.

[2]于樂斐.兩類時滯細胞神經網絡的穩(wěn)定性分析[D].青島：中國海洋大學，2008.

[3]夏松.Hopfield神經網絡構造的聯(lián)想記憶存儲器實現與研究[D].合肥：安徽大學，2010.

篇4

關鍵詞：神經網絡;模糊邏輯;模式識別;具體應用

現階段人工智能領域正在開展關于多種智能識別方法的融合應用來改善識別效果，基于模糊邏輯與神經網絡而成的模糊神經網絡對于真正智能模擬的實現有著極為重要的作用。

1.模式識別概述

模式在本質上是一個內涵十分豐富的概念，其主要是指人類可以利用感官直接或間接接受的外界信息，Watanabe等人在研究中將模式定義為：凡是可以給出一個名字的便可以稱為“模式”，并且其在定義過程中將某些具有共同特性的模式集合統(tǒng)稱為“模式類”。“模式識別”在本質上是識別特定事物或模式相同點與相似點的過程，所以在研究過程中主要是利用自動技術來實現這一過程，在該類技術的支撐下計算機可以自動地將待識別模式分配到各自的模式類中，在這個過程中用到的技術統(tǒng)稱為模式識別技術，尤其是在計算機技術的支撐下使其發(fā)展形成一種模擬人的識別方法，所以對于模式識別的概念應該定義為自動判別和分類的過程。模式識別的過程為研究對象、數據采集、數據預處理、測量空間、特征選擇與提出、特征空間比對、模式分類、儲存至類型空間等，對于整個模式識別過程來說數據采集、數據預處理、特征提取以及特征選擇是其重點。在模式識別中，數據預處理后所獲取的原始數據所在空間則被稱為測量空間，將模式進行分類的空間則稱為特征空間。模式識別系統(tǒng)在設計過程中主要由學習模塊與測試模塊兩個核心模塊組成，并且整個系統(tǒng)在運行過程中具備訓練模式樣本特征數據輸入、制定分類判決規(guī)則、錯誤率檢測、模式樣本特征選擇和正特提取方法調整等多項功能。

2.模式識別系統(tǒng)分析

模式識別系統(tǒng)在運行中的學習模塊與測試模塊中都設計了數據預處理的功能，其可以根據用戶需求將感興趣的模式從背景中進行分離處理，并且可以避免噪聲信號對整個系統(tǒng)的運行產生影響，還可以根據用戶的實際需求來建立標準化模式樣本等。學習模塊在運行中會將已知的樣本模式進行數值化處理后輸入計算機，這個過程被稱為訓練模式樣本特征數據的輸入，系統(tǒng)可以對輸入的樣本進行分析并排除無效或容易出現混淆的特征，對于一些對分類判別有效的數據特征則可以進行界定并保留，這個過程被稱為模式識別系統(tǒng)在運行階段的特征選擇。

模式識別系統(tǒng)在運行過程中還需要將一些變換技術作為支撐，這是因為通過變換技術的應用可以得出比原來數目少的綜合性特征作為分類用，這一過程被稱為特征維數壓縮或特征提取，系統(tǒng)會按照設想的分類判決數學模型對樣本模式進行訓練來得出分類的判決規(guī)則。模式識別系統(tǒng)在獲取判決規(guī)則后便可以開始整個識別過程，其需要將未知模式特征數據進行采集、選擇與提取，然后根據已有的判決規(guī)則對輸入的模式進行分類，最后便可以根據用戶需求來輸入整個模式識別的結果。系統(tǒng)還可以將已識別的分類結果與已知分類輸入模式進行對比，以便于對判決規(guī)則與特征選擇、提取方法進行不斷的優(yōu)化，系統(tǒng)只有在該種模式下才能制定出錯誤率最小的判決規(guī)則與特征選擇、提取策略，對于模式識別系統(tǒng)來說，這一過程被稱為再學習的過程。

3.神經網絡在模式識別中的具體應用

國內在較早階段便開始了神經網絡在模式識別中應用的相關研究，但是學者所提出的研究成果并沒有得到廣泛應用。在20世紀80年代末期，我國一些專家對模式識別在地震特征提取等方面的應用進行了優(yōu)化與改進，并結合不同地區(qū)不同地質條件開展了一系列試驗研究，先后取得了很多效果十分顯著的成果，并且在這個基礎上為整個系統(tǒng)增加了人機交互功能，改進后的模式識別系統(tǒng)開始在國內相關領域中得到了廣泛應用。我國部分領域所使用的模式識別系統(tǒng)在最初以統(tǒng)計識別策略為主，在最近幾年才將神經網絡識別策略應用于模式識別系統(tǒng)中。20世紀80年代后期，世界上關于人工神經網絡的研究開始進入一個熱潮，這是因為在該階段由Rumelhart等人在研究中提出了反向傳播學習算法，對于神經網絡來說其可以有效解決前饋反向神經網絡學習訓練的問題，所以對于整個神經網絡研究領域來說開辟了一條新的途徑。前饋反向神經網絡學習問題的有效解決使神經網絡的各項優(yōu)勢充分彰顯出來，而前饋反向神經網絡模式識別則成為模式識別中的一個核心發(fā)展方向，并且開始被廣泛應用于生物、醫(yī)學、地質以及化工等產品檢測領域中，本文認為關于神經網絡在模式識別中的應用將會給社會帶來巨大變革，同時也意味著基于神經網絡的模式識別技術將成為網絡數字化時代的一項核心技術。

4.結語

現階段前饋反向神經網絡模式識別已經開始在社會各領域進行實踐應用，雖然在該技術體系中還存在一些不足與缺陷，但是在現代科技的支持下其勢必會迎來一個新的發(fā)展時期，對于我國社會各生產領域來說有著極為重要的推動作用。

參考文獻：

[1]汪烈軍.一種改進的結構自適應自組織神經網絡算法[J].微電子學與計算機，2007（01）.

[2]趙菊敏，程海青，張立毅.基于動量項前饋神經網絡盲均衡算法[J].太原理工大學學報，2007（03）.

篇5

關鍵詞：模糊神經網絡；伺服驅動系統(tǒng)；故障診斷

0 引言

現代伺服驅動系統(tǒng)采用最新的電力電子技術及數控技術，呈現出高度自動化、信息化、系統(tǒng)化和智能化的發(fā)展趨勢。由于運行中的各種客觀條件或人為因素，伺服驅動系統(tǒng)出現故障的可能性是不可避免的。在眾多故障診斷方法中，人工智能技術在現代伺服驅動系統(tǒng)的故障診斷中發(fā)揮巨大作用。其中，模糊神經網絡具有很強的非線性處理能力，本文提出利用模糊神經網絡技術來建立針對伺服驅動系統(tǒng)的故障診斷模型。

1 模糊神經網絡的原理及結構

1.1 模糊神經網絡的原理

模糊神經網絡是模糊邏輯和人工智能神經網絡有機結合的產物，它是一種集模糊邏輯推理的強大結構性、知識表達能力和神經網絡的強大自學習能力于一體的新技術，由精確輸入、模糊化、模糊規(guī)則庫、推理機制、清晰化、精確輸出組成。模糊化將輸入空間向量中精確的點映射成模糊集合。模糊規(guī)則庫是由if-then規(guī)則集合所組成。推理機制即使用編制完成的模糊if-then規(guī)則將模糊輸入集合映射到模糊輸出集合。清晰化是把模糊輸出集合映射成精確輸出集合。

1.2 模糊神經網絡的結構

本文所采用模糊神經網絡是一個五層網絡，分別為輸入層、模糊化層、BP隱含層、模糊輸出層和清晰化層。輸入層節(jié)點數為故障征兆數；模糊輸入層通過隸屬度函數實現故障征兆轉為以此隸屬度表示的模糊向量；BP隱含層實現BP輸入層到輸出層的映射；模糊輸出層輸出模糊化數值，任一節(jié)點代表一種故障原因，其值代表故障原因存在可能性的程度；清晰化層根據隸屬度最終確定故障原因。

2 BP神經網絡隱含層節(jié)點數的確立

BP神經網絡的隱含層節(jié)點數對BP神經網絡預測精度有較大的影響：節(jié)點數太少，網絡不能很好地學習，需要增加訓練次數，訓練的精度也受影響；節(jié)點數太多，訓練時間增加，網絡容易過擬合。經驗公式如下：

l

l

l=√（mqn） （3）

l=log2n （4）

式中：l代表隱含層神經元個數；n代表輸入層節(jié)點數；m代表輸出層點數； a為0-10之間的常數。

3 模糊隸屬度函數

伺服驅動系統(tǒng)是一個非常復雜的綜合性系統(tǒng)，包含以下幾個子系統(tǒng)：總線通信；交流進線端；DC Bus；逆變輸出；內部溫度檢測；伺服電機編碼反饋；帶抱閘伺服電機松閘檢測等。本文以奧地利貝加萊B&R公司的ACOPOS驅動器為案例，以上文列舉幾大子系統(tǒng)的常見故障，并結合外部接線常見錯誤和個別典型性故障作為研究對象，來建立對伺服驅動系統(tǒng)的模糊神經網絡故障診斷模型。現代伺服驅動系統(tǒng)在發(fā)生故障時，往往能夠過人機操作界面或系統(tǒng)自帶的顯示面板輸出故障代碼，貝加萊公司的ACOPOS驅動系統(tǒng)同樣可以做到這點，故障代碼就是最好的故障征兆。伺服驅動系統(tǒng)的一種故障征兆可能是由多種故障原因造成的，而同一種故障原因可能引起多種故障征兆的出現，故障征兆和故障原因之間往往是n對m的一種復雜映射關系。想要根據故障征兆來判斷出哪些原因可能引起故障，并確立多種故障原因的可能性高低，需由預先設定模糊隸屬度函數來確定故障征兆與故障原因之間的隸屬度。伺服驅動系統(tǒng)的故障原因對故障征兆貢獻大小，即隸屬度。

4 模糊神經網絡模型的建立、訓練及其仿真

4.1 模糊神經網絡模型的建立

4.1.1故障隸屬度分布

根據傳感器測量值與正常值比較和專家經驗獲得貝加萊伺服驅動系統(tǒng)的故障隸屬度分布，共71條故障征兆，86條故障原因。

4.1.2故障征兆訓練樣本

該樣本是一個由71x71組成的矩陣：

4.1.3故障原因訓練樣本

該樣本是一個由86x71組成的矩陣：

4.2 模糊神經網絡模型的訓練

使用Matlab R2014a的神經網絡工具箱nnstart功能對模糊神經網絡模型進行訓練。輸入層神經元個數71個，使用經驗公式（3）確定隱含層神經元個數80個，輸出層神經元個數86個。選用nnstart工具箱中的Fitting app方式訓練。經過多次訓練得到最佳訓練效果，誤差曲線如圖。

4.3 模糊神經網絡模型的仿真

基于模糊神經網絡的伺服驅動系統(tǒng)故障診斷模型訓練完畢后，應采用適當的檢驗樣本對其進行仿真。選取貝加萊伺服驅動系統(tǒng)常見的3組故障征兆作為FNN的檢驗樣本。故障征兆X001 32189：CAN總線或powerlink網絡循環(huán)數據超時；X037 6019：驅動器輸出過流；X061 41031：驅動器輸出IGBT結節(jié)溫度模型過高警報。表2、表3和表4為基于模糊神經網絡的伺服驅動系統(tǒng)故障診斷模型的仿真結果。三張表分別對應故障征兆X001、X037和X061的期望輸出、模糊神經網絡模型的實際輸出和歸一化輸出的比較。從三張表可以看出，模糊神經網絡模型的實際輸出在歸一化處理后與期望輸出基本相符，說明模糊神經網絡模型能夠正確對貝加萊伺服驅動系統(tǒng)進行故障診斷，在故障診斷中具有很好的決策能力。

篇6

關鍵詞：圖像復原 BP神經網絡 Hopfield神經網絡 應用

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1007-9416（2013）11-0040-02

1 引言

圖像復原是一項富有現實意義的工作，它涉及到廣泛的技術領域，是圖像處理領域研究的焦點之一。在得到圖像的過程中，由于各種各樣的原因，包括與觀測對象的相對運動、介質散射、成像系統(tǒng)缺陷和環(huán)境噪聲等原因，使得最終的圖像都會有一定程度的退化。圖像復原就是從退化的圖像中恢復圖像的本來面目。傳統(tǒng)的圖像復原處理問題的關鍵在于建立退化模型，估計退化過程中的參數，由此通過相應的逆過程得到原始圖像。獲得準確的圖像退化模型是比較困難的事情。大多數圖像復原的實際問題是點擴展函數以及原始圖像均未知的盲復原問題，這類問題具有更嚴重的病態(tài)性因而進一步增加了解決的難度。人工神經網絡（Artificial Neural Network，ANN）為圖像復原問題的解決提供了另外一條路徑，這是基于人工神經網絡具有的模擬人類神經的非線性、自組織、自學習、自適應特性。一般而言，人工神經網絡適合于解決無法或很難精確建立數學模型、不完全清楚內部機理的問題，人工神經網絡的很多特性適合解決圖像復原問題。近些年來，對人工神經網絡應用于圖像復原的研究越來越多，形成了很多豐富的神經網絡模型和算法。BP（Back Propagation反向傳播）和Hopfield（霍普菲爾德）是典型的人工神經網絡類型，也是在圖像復原領域應用較多的神經網絡類型。

2 BP神經網絡在圖像復原中的應用

2.1 BP神經網絡的特性

BP神經網絡是上世紀80年代美國加州大學的Rumelhart、McClelland及其團隊研究并行分布信息處理時提出的采用反向傳播算法的多層前饋網絡。BP神經網絡具有良好的泛化能力，其隱層的非線性傳遞函數神經元可以學習輸入輸出之間的線性或非線性關系。在1989年，RobertHecht-Nielson證明了對于任何一個在閉區(qū)間內連續(xù)的函數都可以由具有一個隱含層的BP網絡來逼近，這樣，一個三層（輸入層、隱層和輸出層）的BP神經網絡即能完成對多維度函數的逼近。這些特性，使得選用BP神經網絡簡單地實現在未知點擴展函數的情況下，擬合原始圖像與退化圖像之間的關系，從而得到滿意的圖像復原結果成為可能。

2.2 BP神經網絡應用于圖像復原

BP神經網絡用退化圖像與相對應的原始圖像進行訓練，退化圖像為網絡的輸入，原始圖像為網絡的輸出。訓練完成的神經網絡會在退化圖像與原始圖像之間建立非線性的映射關系，使得利用這種非線性關系即可實現在只有退化圖像的情況下對齊進行復原。

利用BP神經網絡進行圖像復原，一般用輸入圖像的N×N鄰域內的N2個像素點對應輸出圖像的一個像素點。這樣的對應方法會使整個運算量增大，但正由于參與運算的像素點增加，使得網絡具有更好的泛化和魯棒能力。由于三層BP神經網絡可以任意精度逼近某一多維度函數，因而其應用于圖像復原時使用三層網絡結構。輸入層和輸入層節(jié)點數分別由輸入圖像像素數量和輸出圖像像素數量決定，隱層節(jié)點數量和訓練方法在很大程度上決定了網絡性能。

為了便于網絡計算，通過神經網絡計算前通常將輸入圖像進行歸一化。以灰度圖像為例，將圖像數據[0～255]轉換到[-1～1]或[0～1]。圖像經過神經網絡復原后還需進行反歸一化轉換，將計算得到的數據轉換為圖像數據，即將[-1～1]或[0～1]轉換到[0～255]。

通常，運用BP網絡進行圖像復原算法流程包括：（1）圖像的預處理，得到歸一化的便于神經網絡計算的數據；（2）使用退化圖像與對應的原始圖像（訓練BP神經網絡；（3）將待復原圖像輸入訓練好的BP神經網絡進行圖像復原；（4）數據的后處理，將網絡輸出數據進行反歸一化，得到復原圖像。

3 Hopfield神經網絡在圖像復原中的應用

3.1 Hopfield神經網絡的特性

不同于BP神經網絡，Hopfield神經網絡是一種單層反饋網絡，信號在網絡中不僅向前傳遞，還在神經元之間傳遞。圖1是有三個神經元的Hopfield神經網絡結構圖。Hopfield神經網絡由美國加州理工學院物理學家J·J·Hopfield在上世紀80年代提出，并首次在神經網絡研究中引入了計算能量函數的概念，通過研究網絡的穩(wěn)定性與計算能量函數的相關性給出了網絡的穩(wěn)定性判據。J·J·Hopfield運用Hopfield神經網絡成功地探討了旅行商問題（TSP）的求解方法。HNN神經網絡采用灌輸式學習方式，其網絡權值是事先按一定規(guī)則計算出來的，確定之后不再改變，各神經元的狀態(tài)在運行過程中不斷更新，網絡穩(wěn)定時各神經元的狀態(tài)便是問題的解。Hopfield神經網絡的這些自身特征使其適于應用于聯(lián)想記憶和求解最優(yōu)化問題。

3.2 Hopfield神經網絡應用于圖像復原

利用神經網絡進行圖像復原的方法分為兩類：一種是用原始圖像和模糊圖像構成的樣本訓練神經網絡，在訓練好的網絡中建立起原始圖像與模糊圖像的非線性映射關系，然后以帶復原的模糊圖像作為網絡的輸入，經過網絡輸出的圖像數據就是經過復原的圖像，BP神經網絡就是運用這種方法進行圖像復原的典型神經網絡。另一種是經過神經網絡反復的數學迭代計算復原，運用Hopfield神經網絡進行圖像復原屬于這類方法。

其中是神經網絡的狀態(tài)向量，為網絡的權值矩陣，為由網絡中各神經元閾值構成的向量。Hopfield神經網絡的運行結果即網絡達到穩(wěn)定狀態(tài)就是達到最小值時的狀態(tài)。由式（4）和（5）可以看出圖像復原的目標函數與Hopfield神經網絡能量函數具有相似的表達形式，因而可以建立兩者之間的聯(lián)系，從而將圖像復原問題轉變?yōu)樯窠浘W絡的運算問題，這也就是Hopfield神經網絡應用于圖像復原的基本原理。

運用Hopfield神經網絡解決圖像復原問題首先要確定網絡的權值矩陣。可以按照Hebb學習規(guī)則得出[4]。完成網絡初始化后，將退化圖像輸入網絡，從網絡中選取一個神經元按照Hopfield神經網絡的運算規(guī)則得出神經元的輸出，將所有神經元求出輸出后判斷該網絡是否達到穩(wěn)定狀態(tài)，即計算前后的網絡能量函數的誤差是否小于要求的范圍。如果網絡不穩(wěn)定，需要重復迭代計算；網絡達到穩(wěn)定狀態(tài)時，神經網絡的狀態(tài)向量就是要求的原始圖像。經過一定的后處理就能得到具有一定精度的原始圖像。

4 結語

人工神經網絡在圖像復原問題中的應用已經擴展到了很多方面，包括三維顯微圖像、高能閃光照相等領域[5-6]。神經網絡在圖像復原中的應用機理也不斷得到深入研究。這些得益于神經網絡算法不依賴求解問題本身數學模型的特點，以及自身強大的泛化能力。BP和Hopfield神經網絡都能成功地運用在圖像復原問題中，在選用神經網絡進行圖像復原研究時要注意到BP神經網絡強烈地依賴退化圖像與原始圖像構成的樣本集合對網絡進行訓練，這就要求得到足夠的先驗知識或者通過某種算法得到退化圖像與原始圖像相對應的樣本群。Hopfield神經網絡不依賴于退化圖像與原始圖像的先驗知識，可以直接針對退化圖像進行復原。這就需要根據不同的實際情況選取合適的網絡類型來解決問題。

參考文獻

[1]尚鋼，鐘珞，陳立耀.神經網絡結構與參數選取[J].武漢工業(yè)大學學報，1997，19（2）.

[2]王晗.基于Hopfield神經網絡的圖像恢復[D].武漢：華中科技大學南京理工大學，2006年4月.

[3]席旭剛，羅志增.用Hopfield神經網絡實現觸覺圖像恢復[J].儀器儀表學報，2008，30（10）.

[4] Bianchini M，Frasconi P.Learning without local minima in radial basis function networks[J].IEEE Transaction on Neural Networks，1995，6（3）：749～756.

篇7

關鍵詞：神經網絡；數據挖掘；算法

1.數據挖掘過程及常用的神經網絡模型

1.1數據挖掘過程

數據挖掘是一個由諸多步驟共同組成的具有反復特性的迭代過程，其最主要的目的是從海量的數據當中，找出人們最感興趣的信息。大體上可將數據挖掘過程分為3個階段，即數據準備、模式提取以及結果的解釋與評估。

（1）第一個階段為準備所需的數據，具體可將這個階段細分為數據清洗、數據選取以及數據預處理和數據表示四個步驟。數據是數據挖掘過程中不可或缺的重要前提和基礎，但大量的實踐表明，只有數據是很難進行挖掘工作的，必須在對數據進行挖掘前，做一些相應的準確工作，這些工作也成為數據挖掘的重要環(huán)節(jié)。

（2）第二階段為模式提取。該階段是數據挖掘的核心環(huán)節(jié)，需要先明確數據挖掘的任務及目標，并在正式確定目標之后，選擇合適的算法或工具，開始對數據進行挖掘操作。在這個環(huán)節(jié)當中，算法是關鍵，即可選擇單一的算法，也可多種方法聯(lián)合使用，具體的選擇應視挖掘的任務而定。

（3）第三階段為解釋與評價。挖掘過程中發(fā)現的模式應當以最容易理解的形式呈現給用戶，其間要對發(fā)現的模式進行比較、校驗，看是否與用戶的要求相符，進而確定出挖掘效果。

1.2神經網絡模型

現階段，已知的人工神經網絡模型有40多種，較為常用的有以下幾種：

（1）BP神經網絡。BP是誤差反向傳播的簡稱，這種神經網絡歸屬于前饋網絡的范疇，其具有多層映射的特征，該網絡所采用的主要學習方式為最小均差，結構簡單、學習訓練算法成熟、工作狀態(tài)穩(wěn)定是BP模型的3大特點，正因如此使得該模型獲得了非常廣泛的應用。由于BP算法對誤差函數有著一定的要求，即誤差函數必須可微，故此，為了有效克服局部極小的問題，多以全局優(yōu)化算法為主，如遺傳算法等。

（2）RBF神經網絡。RBF是徑向基函數的簡稱，該網絡與BP網絡在歸屬的范疇上相同，也屬于前饋網絡。RBF網絡在激活函數方面有多種可選擇，最常用的是高斯函數，因為這種函數具有很多顯著的特點，如形式簡單、徑向對稱、容易解析等等。由于RBF網絡是一個多層前饋網絡，故此只要隱單元足夠多，便可達到任意給定精度，其在逼近目標時，采用的化整為零的思想，即將目標分解成為若干個局部對象。

（3）混合型神經網絡。這是―種將其它方法有機融合到―起構成的神經網絡模型，它與傳統(tǒng)網絡模型的拓撲結構相同，但學習機制卻有所不同。常用的混合型神經網絡有模糊和進化2種。

2.基于神經網絡的數據挖掘方法

2.1神經網絡在數據挖掘中的應用優(yōu)勢

神經網絡是一門實用性較強的科學技術，其集多種現代技術于一身，有諸多并行分布的處理單元連接而成。從系統(tǒng)的角度上講，神經網絡歸屬于動態(tài)系統(tǒng)的范疇，具有自適應和非線性的特征，對噪聲數據有著非常強的容錯和承受能力。由于神經網絡所具有的這些特點，使得基于神經網絡構建的數據挖掘模型具備了與之相同的特點，這樣便可以適應數據環(huán)境的不同變化，由此進一步提升了數據挖掘模型的準確性。可見，神經網絡十分適用于數據挖掘領域。

2.2基于神經網絡的數據挖掘過程

由上文分析可知，在數據挖掘領域中，神經網絡具有較高的適用性，以此為基礎的數據挖掘過程分為以下幾個階段。

2.2.1數據的選擇及預處理階段

數據選擇的主要目的是為神經網絡的構建提供相應的數據支撐，這個過程可以細分為以下2個環(huán)節(jié)：（1）對數據進行訓練，（2）對數據進行測試。觀察和理解是選擇數據時必須做的工作，當樣本數據集確定之后，便可按照挖掘目標，并結合挖掘方法，對數據進行編碼處理。

2.2.2網絡訓練與剪枝

當數據選擇和處理工作完成之后，數據挖掘人員需要選用一個神經網絡模型，同時確定相應的網絡訓練算法，通過該算法對神經網絡進行訓練。剪枝的主要作用是以神經網絡的準確性為前提，去除掉沒有意義和價值的冗余結點由此會使網絡模式更加簡練，也更容易理解。

2.2.3規(guī)則的提取與評估階段

經過以上2個階段后，神經網絡當中便會蘊含著學習到的規(guī)則，也就是常說的知識，但是此時的規(guī)則由于存在形式的原因，不容易理解，所以需要對規(guī)則進行提取。提取規(guī)則的主要目的在于將規(guī)則的形式轉化為容易理解的形式，如模糊邏輯、決策樹等，然后再借助測試樣本對規(guī)則的可靠性進行測試、評估。

2.3基于RBF神經網絡的數據挖掘模型設計

下面本文以RBF神經網絡為依托，對數據挖掘模型進行設計，其整體框架結構如圖1所示。

整個系統(tǒng)由以下模塊構成：數據獲取、數據處理、數據分類與評估、控制與干預、GUI人機交互、知識庫。系統(tǒng)模塊的設計情況如下。

2.3.1數據準備

①數據選擇。在數據選擇中，讓用戶利用數據訪問接口對數據集進行自行選擇，進一步確定數據集類型、數據集名稱及數據集處所位置。數據訪問接口為對象模型，該模型覆蓋了數據訪問的各個層面，具體可使用的接口包括ADO，DAO和ODBC三種，本系統(tǒng)采用的數據庫訪問方案為DAO/ODBC，選擇該方案的主要原因是DAO既能夠與Microsoft Jet數據庫引擎并用，還可借助ODBC Direct選項不與其并用。同時，通過DA0對Jet進行訪問更加簡單、便捷，并且使用DATE控件和DAO，能夠創(chuàng)建出與數據庫本身無任何關聯(lián)性的虛擬代碼。②數據清理。該環(huán)節(jié)的主要目的是將不希望包括在內的觀測值篩選掉，操作過程既可借助SQn吾句實現，也可借助相關程序予以實現。③數據合成。該環(huán)節(jié)是將獨立的數據合成數據集，操作過程較為簡單，只要規(guī)則確定便可利用sQL語句或相關程序來實現。

2.3.2數據挖掘

（1）挖掘方法的選擇與管理。該環(huán)節(jié)在系統(tǒng)中具有重要的作用，與系統(tǒng)的可擴充性和最佳挖掘方法的選擇有關。挖掘方法管理可對系統(tǒng)中使用的全部方法所產生的接口信息進行保存，如對文本文件分詞方法、Web日志的Session戈0分方法等挖掘方法中產生的特定數據信息予以保存，粗糙集、決策樹屬于通用的挖掘方法。在對該模塊進行設計的過程中，針對分類預測問題，使用了聚類和神經網絡以及統(tǒng)計學等方法。選擇方法的主要目的是幾乎所有的方法都是數據依賴，并沒苻一種方法能夠在所有的數據上表現良好。因此在方法選擇的初始階段，通過專家的人為干預是有必要的。經過對前人的研究成果進行總結后發(fā)現，將多種不同的方法聯(lián)合運用可大幅度提升運用效果。對于本文構建的數據挖掘系統(tǒng)而言，其核心部分為數據挖掘模塊，該模塊的設計分為3個方面：①訓練模塊，以訓練RBF網絡為主，采用數學模型方法構建網絡分類模型；②預測模塊，在分類實際數據的基礎上，將分類產生的數據結果快速傳遞到評估模塊；③重構模塊，該模塊地能夠確保數據挖掘模型具有―定的可擴展性和自適應能力，按照具體需要對模型進行重新構建。（2）結果顯示。該環(huán)節(jié)以多種形式顯示數據挖掘結果，如列表、樹、圖等是最為常見的顯示方式。本文采用了可視化的方法進行數據挖掘結果顯示，這樣能夠使用戶對挖掘結果的了解更加直觀、具體。（3）結果評估。在評估中，采用數據挖掘評價方式，通過比較分析不同模型下產生的數據挖掘效果，從而得出各類型分析工具的最終結果，再配以相應的標準圖標進行直觀顯示，方便用戶利用相關數據信息開展定量評價。在結果評估中，強調獲取規(guī)則的價值評定，其評價關鍵點為查看數據挖掘結果與用戶期望的符合程度，并對挖掘結果的可靠性和價值性進行評價，將其作為知識庫是否納入規(guī)則的重要評判依據。在GUI交互界面上，數據挖掘系統(tǒng)與用戶可以進行交互操作。

2.4安全性保障措施

基于RBF神經網絡的數據挖掘系統(tǒng)在使用過程中，安全性非常重要，為此，本文提出幾點安全性保障措施，以此來確保數據挖掘的安全。

（1）采用登錄機制確保數據安全。所謂的登錄機制主要是針對客戶端的一種安全控制措施。由于用戶與服務器端需要通過網絡的方式進行數據傳輸，為了進一步提高數據傳輸的安全性，可對數據進行加密處理，并將用戶挖掘到的數據結果存儲在服務器上，由此在不同的計算機上使用客戶端均可對之前挖掘到的數據結果進行利用。

（2）設置權限。可以通過用戶管理來完成用戶的注冊、登錄以及使用權限管理。當用戶需要使用數據挖掘系統(tǒng)進行數據挖掘時，要先進行賬號注冊，并在使用前通過注冊的賬號和密碼進行登錄，從而保證每個用戶的數據安全。此外，用戶管理能夠實現分級管理，賦予不同用戶不同的權限，這使安全性獲得了進一步提升。

篇8

關鍵詞：MIS智能入侵檢測；特征規(guī)則；模糊聚類

中圖分類號：TP183文獻標識碼：A文章編號：1009-3044(2008)24-1267-02

MIS Intelligent Intrusion Detection Technology Based on the Clustering Method

ZHANG Dong-liang, XIA Zhong-hua

(Qinghuangdao Institute of Technology,Qinhuangdao 066100,China)

Abstract: In this paper, there is a brief introduction to the MIS intelligent intrusion detection technologyby usingneural networks, and by use of the new cluster to improve the neural network, Rules adopted by the best time of the algorithm to reduce complexity and simplify the neural network. To optimize the feature extraction rules, improving the efficiency of the intrusion detection and intelligence.

Key words: MIS intelligent intrusion detection;characteristics of rules;fuzzy cluster

1 引言

入侵檢測（Intrusion Detection，ID）是指通過對行為、安全日志或審計數據或其它可以獲得的信息進行操作，檢測到對系統(tǒng)的闖入或闖入的企圖[1]。它通過對計算機系統(tǒng)或網絡計算機系統(tǒng)中的若干 關鍵點收集信息并對其進行分析，從中發(fā)現系統(tǒng)或網絡中是否有違反安全策略的行為和被攻擊的跡象。

現有的入侵檢測系統(tǒng)多數采用概率統(tǒng)計、專家系統(tǒng)、神經網絡等智能化方法來實現系統(tǒng)的檢測機制。其中，神經網絡方法可以利用大量實例通過訓練 的方法構造正常行為模型，能夠有效預測未知的攻擊，并且它有自適應、自學習、自組織、并行性等優(yōu)點，在攻擊類型上，則對非授權獲得超級用戶權限和遠程到本 地的非授權訪問的檢測效果顯著[2]。

本文使用新的聚類方法來改善神經網絡，通過得到最佳的規(guī)則數來降低算法時間復雜度，簡化神經網絡，使之進行有效的數據提取和學習，提高入侵檢測的效率和智能性。

2 MIS智能入侵檢測技術

MIS智能入侵檢測主要由四個主要模塊組成：

1) 數據采集：主要由SQLServer跟蹤日志給出，相當于事件產生器；2) 檢測單元：主要由神經網絡訓練出一個相對穩(wěn)定的正常模型，用于檢測異常調用，相當于事件分析器[3]；3) 特征數據庫：主要利用誤用檢測的特點，實現快速檢測各種已知的異常調用，并直接反饋倒報警單元，相當于事件數據庫，其征數據庫與被監(jiān)控數據庫分離存儲；4) 報警單元：主要是殺掉異常調用的客戶端進程，反饋給系統(tǒng)管理員并記錄到自定義日志文件，相當于響應單元。

主要流程是：首先通過采集的樣本數據經過訓練后形成檢測單元，建立相應特征數據庫并完成日志文件初始化工作；然后實時監(jiān)測客戶端調用，將數據直接和特征數據庫進行匹配，如有匹配則送入報警單元，反之則送入檢測單元；檢測單元將數據作為輸入向量與正常模型比較，如果泛化輸出值大于期望值，則列為異常，直接送入誤用數據庫存儲，并通知報警單元，反之繼續(xù)監(jiān)測各調用。

3 基于聚類方法的智能入侵檢測

3.1 數據采集

入侵檢測的關鍵是用戶行為特征的提取。本文主要利用SQLServer的事件探察器，建立新的跟蹤文件，針對TSQL、存儲過程、安全審核、會話等事件，選取 ObjectId, LoginName, CPU, Read, Write ClientProcessId, SPID 七個數據列作為輸入向量[4]。分別表示客戶端對數據庫表、存儲過程和視圖的調用；客戶數據庫登陸名；CPU占用時間；對數據庫的讀寫操作；客戶端進程號和系統(tǒng) 分配進程號。這七種數據在對數據庫的調用過程中相對穩(wěn)定。LoginName中則主要考慮客戶端默認調用，采集到的數據都是十進制數據，不需要額外的數據預處理，符合神經網絡輸入的要求。

3.2 神經網絡學習

本文采用采用三層神經網絡[5]：輸入單元為七個，分別對應上述七個處理向量；輸出層為一個神經單元，輸出結果 規(guī)定在（0，1）范圍內，用0表示為正常行為，用1表示為異常行為；隱層結點通過試驗確定為6個；權值和閾值為小的隨機數；學習率為0.1；隱含層和輸出層采用Sigmoid函數f(x)=(1+e-x)－1為激發(fā)函數，該函數具有非線性放大功能，可以把輸入從負無窮大放大到正無窮 大的信號，變換到0到1之間的輸出，可以逼近非線性輸入/輸出關系。我們將七種特征向量作為神經網絡的輸入向量，訓練的結果就是確定了B網絡的權值，而 這些權值就存儲了行為的特征模式，將訓練后的神經網絡用于實際的工作，就可以判斷是否有異常的調用，如發(fā)現了新的非權限異常調用，則把檢測到的模式存儲到特征數據庫。

3.3利用新的聚類方法提取最佳規(guī)則數

此文通過求解最佳聚類數來得到最佳規(guī)則數，首先通過構造一個新的判別準則來進行模糊分類,確定樣本數據的最佳分類,從而確定最佳規(guī)則數。

可以看出,聚類判別準則Vp由2部分組成,第一部分反映了同一類中的緊湊程度。第k個樣本Xk越接近模糊類中心,最大隸屬度max(uik)就越接近1。因此,對每一個樣本Xk來說,模糊集max(uik)被認為是一個好的分類指標,這個值越大,代表同一類的緊湊程度就越好。式(1)的第二部分體現了類與類之間的分離程度[4]。這里,用2個模糊集的交集來評價類Vi和Vj的分離程度。事實上,如果Xk接近類中心Vi,min(uik,ujk)接近于零,結果類Vi和Vj很明顯被分開。

另一方面,如果min(uik,ujk)接近于1/C,Xk屬于所有類的隸屬度相等,此時劃分的類最模糊。這個新的的判別準則Vp既考慮了同一類的緊湊程度,又考慮了類與類之間的分離程度。這樣相對于最大值Vp的聚類數C就是一個最佳聚類數[6]。

3.4 調整特征提取規(guī)則

經過神經網絡學習，得到了大量的特征提取規(guī)則，現在就要根據上文所得的最佳規(guī)則數來調整規(guī)則，使之達到最佳。規(guī)則的化簡是基于網絡權值來進行的。權值的初始值的大小代表了規(guī)則成功的概率；經過網絡進行訓練以后，這個概率或被增加或被減少。概率為零表示該條規(guī)則不再存在理應被去除[7-8]。1) 主要思想是將網絡權值為零或很接近于零的規(guī)則視為無效的規(guī)則而被去除[9]；2) 在具有同一前件的所有規(guī)則中，將取權值最大的規(guī)則保留，而將其余的規(guī)則去除；3) 為了保持規(guī)則的一致性，在矛盾的規(guī)則中取概率最大的規(guī)則是一種良好的選擇[10]。

3.5 實驗結果

MIS系統(tǒng)在正常運行一周內，從跟蹤文件中隨機選取了1000個樣本作為訓練樣本，500個樣本作為檢測樣本。利用聚類方法的神經網絡學習得到的規(guī)則數目由原來的35個減少到23個。改進前構建的正常行為模型80%以上的能夠檢測到未知的異常操作，誤用數據庫70%的可以快速檢測得到各種已知的異常調用。改進后構建的正常行為模型90%以上的能夠檢測到未知的異常操作；而誤用數據庫則98%的可以快速檢測得到各種已知的異常調用。

由結果可以得知，本文提出的方法，有效的提取了數據和神經網絡學習，提高入侵檢測的效率和智能性。

4 結論

本文介紹了神經網絡實現的MIS智能入侵檢測技術的簡單流程，采用了新的聚類方法來改善神經網絡，通過得到最佳的規(guī)則數來確定特征提取規(guī)則的界限，降低了算法時間復雜度，簡化了神經網絡。從而優(yōu)化了特征提取規(guī)則，提高了入侵檢測的效率和智能性。

參考文獻：

[1] 劉美蘭,姚京松.神經網絡在入侵檢測系統(tǒng)中的應用[J].計算機工程與應用,1999,(6):37-42.

[2] 撖書良,蔣嶷川,張世永.基于神經網絡的高效智能入侵檢測系統(tǒng)[J].計算機工程與應用,2004,30(10):69-70.

[3] 陳瑾,羅敏,張煥國.入侵檢測技術概述[J].計算機工程與應用,2004,(2):133-136.

[4] 王士同,陳慧萍,趙躍華,等.人工智能教程[M].北京:電子工業(yè)出版社,2002

[5] Pal N R,Pal K,Keller J,et al.A Possibilistic Fuzzy c- Means Clustering Algorithm[J].IEEE Trans,Fuzzy Systems:in review,2004.

[6] Krisnapuram R,Frigui H,Nasroui O.Fuzzy and possibilistic shell clustering algorithms and their application to boundary detection and surface approximation[J].IEEE Trans,Fuzzy Systems,1995,3(1):29-60.

[7] Dave R N,Bhaswan K.Adaptive fuzzy c-shells clustering and detection of ellipses[J].IEEE Trans,on Neural Networks,1992,3(5):643-662.

[8] Timm C,Kruse R R.A modification to improve possibilistic fuzzy cluster analysis[C].Proceedings of the IEEE Int,Conf on Fuzzy Systems,Honululu,2002.

[9] 王士同.神經模糊系統(tǒng)及其應用[M].北京:北京航空航天大學出版社,2004.

篇9

關鍵詞:農村電力;BP算法;人工神經網絡;回歸分析

中圖分類號:TM855文獻標識碼:A

文章編號:1009-2374 (2010)22-0138-03

0引言

農村用電具有很大的不確定性,農村電力短期負荷預測研究對農村電力系統(tǒng)的安全及農業(yè)安全生產有十分重要的意義。基于短期負荷預測研究理論和方法已做了大量預測研究,提出了很多方法,大致可以分為兩類:一類是以時間序列法為代表的傳統(tǒng)方法,如時間序列法等,這些方法算法簡單,速度快,應用廣泛,但由于其本質上都是線性模型方法,因此存在著很多缺點和局限性,無法真實地反映農村電力系統(tǒng)不同負荷模型的非線性特性;另一類是以人工神經網絡為代表的新型人工智能方法,神經網絡具有并行分布信息和自學習及任意逼近連續(xù)函數的能力,能夠捕獲農村電力短期負荷的各種變化趨勢。BP網絡需要大量歷史數據進行訓練,且學習及處理不確定性和人工信息的能力較差。人工邏輯系統(tǒng)適用于處理不確定性、不精確性及噪聲引起的問題。實踐證明,將BP算法和神經網絡融合的人工神經網絡能發(fā)揮各自的優(yōu)勢,克服各自的不足是一種有效的方法。

1農村電力短期負荷預測研究算法

基于負荷預測方法主要有回歸分析法、時間序列法、指數平滑法、灰色模型法、專家系統(tǒng)法、人工神經網絡法、小波分析預測技術和數據挖掘理論等。

1.1回歸分析法

回歸分析法是研究變量與變量之間的一種數學方法。在回歸分析中,自變量是隨機變量,因變量是非隨機變量,由給定的多組自變量和因變量資料,研究各自變量和因變量之間的關系,形成回歸方程,求解回歸方程后,給定各自變量數值,即可求出因變量值。回歸分析法根據歷史數據和一些影響負荷變化的因素變量來推斷將來時刻的負荷值。回歸分析法的特點是:原理、結構簡單,預測速度快,外推特性好,對于歷史上未出現過的情況有較好的預測值。

1.2灰色模型法

灰色系統(tǒng)理論將一切隨機變化量看作是在一定范圍內變化的灰色量。常用累加生成(AGO)和累減生成(IAGO)的方法將雜亂無章的原始數據整理成規(guī)律性較強的生成數據列。用灰色模型(GM)的微分方程作為農村電力系統(tǒng)單一指標(如負荷)的預測時,求解微分方程的時間響應函數表達式即為所求的灰色預測模型,對模型的精度和可信度進行校驗并修正后即可據此模型預測未來的負荷。

1.3專家系統(tǒng)法

專家系統(tǒng)是依據專門從事短期負荷預測的技術人員提供的經驗,總結出一系列的規(guī)則,并建立相應的歷史負荷和天氣的數據庫,利用if-then規(guī)則對待預測日的負荷進行估計。由于專家系統(tǒng)將天氣條件作為一個重要因素引入預測模型,因而預測的結果更為令人滿意。專家系統(tǒng)預測的優(yōu)點在于較好的解決了天氣等因素對負荷的影響,有力的克服了時間序列法不能處理數據序列中出現大擾動的情況。但是這種方法過分依賴規(guī)則,如果沒有一系列成熟的規(guī)則負荷預測就無法進行,而規(guī)則本身不具有普遍適應性,預測模型不能推廣到所有的系統(tǒng),這正是專家系統(tǒng)存在的弱點。

1.4人工神經網絡法

人工神經網絡方法是90年代以來發(fā)展起來的新方法,用人工神經網絡進行負荷預測是農村電力系統(tǒng)負荷預測的一個新發(fā)展方向。人工神經網絡法利用人工神經網絡(ANN),選取過去一段時間的負荷作為訓練樣本,然后構造適宜的網絡結構,用某種訓練算法對網絡進行訓練,使其滿足精度要求之后,用ANN作負荷預測。一般而言,ANN應用于短期負荷預測要比應用于中長期負荷預測更為適宜,因為短期負荷變化可以認為是一個平穩(wěn)隨機過程,而長期負荷預測與國家或地區(qū)的政治、經濟政策等因素密切相關,通常會有些大的波動,而并非是一個平穩(wěn)隨機過程。目前用人工神經網絡進行負荷預測還存在一些問題,比如模型結構的確定,輸入變量的選取,人工神經網絡的學習時間較長等問題。但它仍具有許多其他方法所不能比擬的優(yōu)點,例如:良好的函數逼近能力,通過對樣本的學習,能夠很好的反映對象的輸入/輸出之間復雜的非線性關系。因此人工神經網絡受到許多學者的高度評價。

1.5小波分析預測技術

小波分析是Fourie分析深入發(fā)展過程中的一個新的里程碑,是本世紀數學研究成果中最杰出的代表,已成為眾多學科共同關注的熱點。一方面,小波分析發(fā)揚了Foufie分析的優(yōu)點,克服了Fourie分析的某些缺點;另一方面,小波分析現在已經被廣泛應用于信號處理、圖像處理、量子場論、語言識別與合成、地震預報、機器視覺、機械故障診斷與監(jiān)控、數字通信與傳輸等眾多領域。原則上講,凡是傳統(tǒng)方法中采用Fourier分析的地方,基本上都可以用小波分析來取代,而且其應用結果會得到深化和發(fā)展,因此小波分析作為一種多方面運用的數學工具,具有巨大的潛力和廣泛的應用前景。

農村電力系統(tǒng)中曰負荷曲線具有特殊的周期性,負荷以天、周、年為周期發(fā)生波動,大周期中嵌套小周期。而小波分析是一種時域或頻域分析方法,它在時域和頻域上同時具有良好的局部化性質,并且能根據信號頻率高低自動調節(jié)采樣的疏密,容易捕捉和分析微弱信號以及信號、圖像精細的采樣步長,從而可以聚焦到信號的任意細節(jié),尤其是對奇異信號很敏感,能很好的處理微弱或突變的信號,其目標是將一個信號的信息轉化成小波系數,可以方便的處理、存儲、傳遞、分析或被用于重建原始信號,這些優(yōu)點決定了小波分析可以有效地應用于負荷預測問題的研究。

1.6模糊預測法(FUZZY)

FUZZY預測,是近幾年來在農村電力系統(tǒng)負荷預測中不斷出現的一種預測方法,將FUZZY方法引入的原因是,農村電力系統(tǒng)中存在著大量的模糊信息,如負荷預測中的關鍵因素氣象狀況的評判、負荷的日期類型的劃分等信息,都是模糊的。常規(guī)方法就是采用統(tǒng)計和經驗相結合的方法予以處理,這給負荷預測引入了不科學因素,并且與自動化要求相矛盾,而FUZZY方法正是破解這些模糊信息的鑰匙。從實際應用來看,單純的FUZZY方法對于負荷預測的精度往往是不盡人意的,主要因為FUZZY預測沒有學習能力,這一點對于不斷變化的農村電力系統(tǒng)而言,是極為不利的。

2農村電力短期負荷預測研究與實現

2.1人工神經網絡原理

人工神經網絡是一種“采用物理可實現的系統(tǒng)來模仿人腦神經細胞的結構和功能的系統(tǒng)。”人工神經網絡是最近發(fā)展起來的十分熱門的交叉學科,它涉及生物、電子、計算機、數學和物理學科,有著非常廣泛的應用背景,這門學科的發(fā)展對日前和末來的科學技術的發(fā)展有重要的影響。二維的簡單人工神經網絡按網絡拓撲結構可分為兩類:前饋型網絡和反饋型網絡。反饋型網絡模型是一種反饋動力學系統(tǒng),它具有極復雜的動力學特性。反饋神經網絡模型可以用完備的無向圖表示,代表性的模型包括;Hopfield網絡模型和Hamming網絡模型。反饋神經網絡模型有很強的計算能力。前饋神經網絡模型是指那些在網絡中各處理單元之間的連接都是單向的,而且總是指向網絡輸出方向的網絡模型。

2.2BP人工神經網絡算法

基于BP網絡學習規(guī)則的指導思想:對網絡權值和閾值的修正要沿著表現函數下降最快的方向――負梯度方向。

xk+1=xk-akgk (1)

其中xk是當前的權值和閾值矩陣,gk是當前表現函數的梯度,ak是學習速度。假設三層BP網絡,輸入節(jié)點,隱層節(jié)點,輸出節(jié)點。輸入節(jié)點與隱層節(jié)點間的網絡權值為,隱層節(jié)點與輸出節(jié)點間的網絡權值為。當輸出節(jié)點的期望值為時,模型的計算公式如下:

隱層節(jié)點的輸出:

yj=f(wjixi-θj )=f (netj) (2)

其中netj=wjixi-θj (3)

輸出節(jié)點的計算輸出:

zl=f(vljyj-θl)=f (netl) (4)

其中netl=vlj yj-θl (5)

輸出節(jié)點的誤差:

E=(tl-zl)2=(tl-f(vljyj-θl))2

=(tl-f(vljf(wjixi-θj)-θl))2 (6)

E=(tI-zi)2=(tI-zi)

2.3誤差函數對輸出節(jié)點求導

=?=? (7)

E是多個zk的函數。但有一個zk與vlj有關,各zk間相互獨立,其中:

=[-2(tk-zk)?]=-(tl-zl) (8)

=?=f '(netl)?yj (9)

則=-(tl-zl)?f '(netl)?yj (10)

設輸入節(jié)點誤差為δl=(tl-zl)?f '(netl) (11)

則=-δl?yj (12)

2.4誤差函數對隱層節(jié)點求導

=?? (13)

E是多個zl的函數,針對某一個wji,對應一個yj,它與所有zl有關,其中:

=[-2(tk-zk)?]=-(tl-zl) (14)

=?=f '(netl)?(-1)=f '(netl)?vlj (15)

=?=f '(netl)?xi (16)

則=-(tl-zl)?f '(netl)?vlj?f '(netj)?xi=δlvlj?f '(netj)?xi(17)

設隱層節(jié)點誤差為δj'=f '(netj)?δlvlj (18)

則:=-δj'xi (19)

由于權值的修正Δvlj,Δwji正比于誤差函數沿梯度下降,則有:

Δwji=-η'=η'δj'xi (20)

vlj(k+1)=vlj(k)+Δvlj=vlj(k)+ηδlyj (21)

δl=-(tl-zl)?f '(netl) (22)

Δθl=η=ηδl (23)

wji(k+1)=wji(k)+Δwji=wji(k)+η'δj'xi (24)

δj′=f '(netj)?δlvlj (25)

其中隱層節(jié)點誤差δj′中的δlvlj表示輸出節(jié)點的zl的誤差δl通過權值vlj向節(jié)點yj反向傳播成為隱層節(jié)點的誤差。

2.5 閾值θ也是變化值,在修正權值的同時也需要修正,原理同權值修正一樣誤差函數對輸出節(jié)點閾值求導

=? (26)

其中=-(tl-zl) (27)

=?=f '(netl)?(-1)=-f '(netl) (28)

則=(tl-zl)?f '(netl)=δl (29)

閾值修正Δθl=η=ηδl (30)

θl(k+1)=θl(k)+ηδl (31)

誤差函數對隱層節(jié)點閾值求導=??(32)

其中=-(tl-zl) (33)

=f '(netl)?vlj (34)

=?=f '(netj)?(-1)=-f '(netj) (35)

則=(tl-zl)?f '(netl)?vlj?f '(netj)=δlvlj?f '(netj)=δj' (36)

閾值修正Δθj=η' =η'δj' (37)

θj(k+1)=θj(k)+η'δ'j (38)

2.6傳遞函數f(x)的導數S型函數

f (x)=,則f ' (x)=f (x)?(1-f (x)) (39)

f ' (netk)=f (netk)?(1-f (netk)) (40)

對輸出節(jié)點zl=f (netj) (41)

f ' (netj)=zl?(1-zl) (42)

對輸出節(jié)點yj= f (netj) (43)

f ' (netj)=yj?(1-yj) (44)

3結語

基于一種新的基于人工神經網絡在農村電力短期負荷預測研究。針對BP算法中存在的收斂速度慢、易陷入局部最小值的問題,可采用附加動量法和自適應學習速率法在一定程度上解決這些問題。附加動量法是在BP算法的基礎上,在每個權值變化上加上一項正比于上一次權值變化量的值,并根據BP算法來產生新的權值變化,利用附加動量法可能會避開某些局部最小值。自適應學習速率法是在學習過程中不斷修正學習速率,有利于提高學習效率,縮短學習時間。

參考文獻

[1] 劉光中,顏科琦.組合神經網絡模型對電力需求的預測[J].數量經濟技術經濟研究,2003,(1)

篇10

[關鍵詞] 小生境遺傳算法 神經網絡 股票 預測

一、引言

股票和股票市場對國家企業(yè)的經濟發(fā)展起到了積極的作用，如可以為投資者開拓投資渠道，增強投資的流動性和靈活性等。但股票價格的形成機制是頗為復雜的，股票價格既受到多種因素，諸如:政治，經濟，市場因素的影響，亦受技術和投資者行為因素的影響，個別因素的波動作用都可能會影響到股票價格的劇烈波動。因此，股票價格和各影響因素之間很難直接建立明確的函數關系表達式。針對這一情況，將可有效處理非線性問題的神經網絡引入到股票價格的預測中來，但神經網絡收斂慢,易陷入局部極小點，出現振蕩，魯棒性差。所以有的學者用遺傳算法(GA)來優(yōu)化神經網絡，這種神經網絡可能獲得個別的甚至局部的最優(yōu)解,即GA早熟現象。本文引進能較有效地保持種群多樣性的小生境遺傳算法(NGA),采用NGA優(yōu)化與用GA優(yōu)化的BP網絡權值進行對比,證實了NGA的判別準確性和尋優(yōu)能力。

二、小生境遺傳算法優(yōu)化的神經網絡

1.BP神經網絡

反向傳播(BP)算法又稱為誤差逆?zhèn)鞑バＵ椒ǎ?974年P.Werbos(哈佛大學)提出的。BP算法用來訓練多層前饋神經網絡,屬于監(jiān)督學習算法。BP網絡具有結構清晰，易實現，計算功能強大等特點。因而是目前最常見，使用最廣泛的一種神經網絡。但是在實際應用中，傳統(tǒng)的BP算法存在以下問題:收斂速度慢;若加快收斂速度易產生振蕩；存在局部極小和平臺問題;泛化能力差;隱節(jié)點數和初始值的選取缺乏理論指導;未考慮樣本選擇對系統(tǒng)學習的影響等。所以很多學者提出許多改進的方法，用小生境遺傳算法優(yōu)化神經網絡權值的神經網絡來預測股票價格。

2.小生境遺傳算法

小生境遺傳算法(Iche Genetical Gorihm)的基本思想是:首先比較任意兩個個體間的距離與給定值的大小，若該距離小于給定值，則比較其適應值大小。對適應值較小的個體施加一個較強的懲罰，極大地降低其適應值。也就是說，在距離L內將只有一個優(yōu)良個體，從而既維護了群體的多樣性，又使得各個體之間保持一定的距離，并使得個體能夠在整個約束空間中分散開來。

3.神經網絡連接權的優(yōu)化

用小生境遺傳算法可以優(yōu)化神經網絡連接權，神經網絡結構，學習規(guī)則等，這里我們對神經網絡的連接權進行優(yōu)化，具體步驟如下：

（1）隨機產生一組權值分布，采用某種編碼方案對該組中的每個權值(或閾值)進行編碼，進而構造出一個碼串(每個碼串代表網絡的一種權值分布)，在網絡結構和學習規(guī)則已確定的前提下,該碼串就對應一個權值和閾值取特定值的一個神經網絡。

（2)對所產生的神經網絡計算它的誤差函數，從而確定其適應度函數值，誤差越大,則適應度越小。

（3)選擇若干適應度函數值最大的個體,直接遺傳給下一代。

（4)利用交叉和變異等遺傳操作算子對當前一代群體進行處理，產生下一代群體。

（5)重復（2）（3）（4），使初始確定的一組權值分布得到不斷地進化,直到訓練目標得到滿足為止。

這種由小生境遺傳算法訓練神經網絡的方法也可以稱做混和訓練法。將基于小生境遺傳算法的遺傳進化方法和基于梯度下降的反傳訓練相結合,這種訓練方法吸取兩種方法的各自特點，所以收斂速度快。

三、股票價格預測仿真

根據經驗選取輸入預測日前四天開盤價、收盤價歸一化后做為作為輸入量，輸出為第五天收盤價歸一化數值。所以，本文采用神經網絡結構為(8,5,1),即網絡的輸入層6個節(jié)點,隱含層9個節(jié)點,輸出層1個節(jié)點。本文選擇了“XDG 新梅（600732）”從2006年3月14日到2006年7月1日數據進行了仿真。利用MATLAB6.5編程，取70組訓練樣本和30組測試樣本。如圖（1）表示用遺傳算法和小生境遺傳算法對神經網絡的權值進行優(yōu)化時，誤差曲線變化;從圖中可以看出，小生境遺傳算法收斂速度要快;圖（2）表示股票預測值和實際值比較，從圖中可以看出，遺傳算法和小生境遺傳算法對神經網絡的權值的模型進行股票價格的預測，都能預測出股票走向趨勢，但是，后者的預測精度顯然要比前者高。

四、結束語

股票市場的不確定因素太多，股票的價格更是多種因素影響的集合體，是典型的非線性動力學問題。股票價格的中長期準確預測很難。本文建立了用小生境遺傳算來優(yōu)化神經網絡模型來預測股票價格，結果表明，這種方法比單用遺傳算法優(yōu)化的神經網絡收斂速度快，預測精度高。對于股票價格預測具有較好的應用價值。

參考文獻:

[1]龍建成李小平:基于神經網絡的股票市場趨勢預測[J].西安電子科技大學學報(自然科學版.2005.3（32）:460-463

[2]王波張鳳玲:神經網絡與時間序列模型在股票預測中的比較[J].第27卷第6期武漢理工大學學報?信息與管理工程版.2005.9（27）:69-72

[3]張立明:工神經網絡的模型及其應用[M].上海:復旦大學出版社,1995.35-76