神經網絡的算法范文

導語：如何才能寫好一篇神經網絡的算法，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務員之家整理的十篇范文，供你借鑒。

篇1

【關鍵詞】深度學習 卷積神經網絡 權值共享 下采樣 R-CNN Fast-R-CNN

1 緒論

隨著電子信息技術的快速發展，芯片的設計與生產進入了納米時代，計算機的計算能力與計算速度得到了空前的提高，但是人們的需求是無限的，要求計算機能更加任性化的服務于我們的生活，這也就要求計算機本身能像人一樣識別與感知周圍的環境，并對復雜的環境做出正確的判斷。而圖片信息是我們周圍環境最直觀的，最容易獲取的信息，要求計算機能對為的環境做出識別與判斷也就要求計算機能夠智能的識別圖像信息。深度學習是機器學習中的一個新的研究領域。通過深度學習的方法構建深度網絡來抽取目標特征進而識別周圍的環境。卷積神經網絡對圖像的處理具有平移，旋轉，扭曲不變的優良特性。在處理圖像是更加快捷和便利。卷積神經網絡使得計算機在感知識別周圍環境的能力有了巨大的提升，使得計算機更加智能。卷積神經網絡擁有強大的特征提取能力，使得其在圖像分類識別，目標跟蹤等領域有著強大的運用。

1.1 國內外研究現狀

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向傳導神經網絡輸出誤差進行訓練神經網絡。通過BP算法，神經網絡能夠從大量訓練數據中的學習到相關統計信息，學習到的數據統計信息能夠反映關于輸入-輸出數據模型的函數映射關系。

自2006年以來，Geoffery Hinton教授提出深度信念網絡。從此深度學習在學術界持續升溫。深度學習不僅改變著傳統的機器學習方法，也影響著我們對人類感知的理解，迄今已在語音識別和圖像理解等應用領域引起了突破性的變革。各種相關的算法和模型都取得了重要的突破，使得深度學習在圖像分類，語音識別，自然語言處理等領域有廣泛的運用。

2013年百度成立百度深度學習研究院以來我國的人工智能領域取得了長足的進步。在人工智能專家吳恩達的帶領下，百度陸續推出一系列人工智能產品，無人駕駛技術，DuerOS語音交互計算平臺，人臉識別技術，美樂醫等優秀產品。此外Imagenet圖像識別大賽中也誕生了一系列經典的神經網絡結構，VGG，Fast-R-CNN，SPP-net等等，可以說人工智能技術在近幾年得到了空前的發展。

2 深度學習概述

深度學習是機器學習的一個新方向，通過學習樣本數據內在規律和深層特征深度，深度學習神經網絡能夠像人一樣有分析和學的能力，尤其在文字處理，圖像識別，語音等領域更加突出。能夠自主學習一些新的東西。目前深度學習使用的典型技術是通過特征表達和分類器來進行目標識別等任務的。并在語音識別、圖像處理、機器翻譯等領域取得很多成果。

深度學習不同于以往的淺層學習，淺層學習模型值包含一個隱藏層，或者不存在隱藏層，深度學習則是由很多隱藏層組成的，上一層的輸出作為下一層的輸入，實驗對輸入信息進行分級表達。目前深度學習框架主要包含三種深度學習框架，如圖1、2、3所示。

3 卷積神經網絡

卷積神經網絡的結構層次比傳統的神經網絡復雜，卷積神經網絡包含大量的隱藏層，相鄰的卷積核或者下采樣核采用局部感受野全鏈接，神經元權值共享的規則，因此卷積神經網絡訓練參數的數量遠比傳統神經網絡少，卷積神經網絡在訓練和前向測試的復雜度大幅度降低，同時也減少了神經網絡訓練參數過擬合的幾率。卷積神經網絡主要有兩部分，分別是卷積核和下采樣核。卷積核主要對上一層的圖像進行卷積運算，提取圖像特征，下采樣核則是對上層的數據進行將為處理，減少神經網絡的復雜度。

卷積神經網絡中每一個神經元的輸入與前一層的局部感受野相連，提取局部感受野的特征，比如圖像的輪廓，顏色等特征，而這些特征不僅包括傳統人類能理解的特征，也包括神經網絡自身能夠識別的特征，卷積核全職共享，因此這些特征提取與圖像的位置無關。

圖4是經典的LeNet5卷積神經網絡架構，LeNet5架構中卷積核和下采樣核交替出現，下采樣核及時的將卷積核生成的特征向量進行降維，減少神經網絡的運算量。LeNet5算法在1962年幼Hubel等人提出，在識別手寫數字mnist中有極高的準確率。

4 R-CNN、Fast-R-CNN對比分析

卷積神經網絡在對圖像進行識別具有平移，旋轉，扭曲不變的優良特性，并且能夠實現高準確率識別圖像，但是在現實生活運用中往往需要神經網絡標記出目標的相對位置，這是傳統卷積神經網絡不具備的功能。因此在前人傳統卷積神經網路基礎上對卷積神經網絡進行改進，產生了具有對圖像中目標進行識別和定位的卷積神經網絡R-CNN，Fast-R-CNN等改良算法。

4.1 R-CNN

R-CNN為Region Convoluntional Neural Network的縮寫即對圖像進行局部區域的卷積處理，其核心思想主要是利用候選區圖像對物體探測中位置信息進行精確處理和利用監督式預訓練和區域特殊化的微調方法，代替了傳統的非監督式預訓練和監督式微調。

在CNN中，全連接層輸入是固定大小的，因此R-CNN用計算機視覺算法將每一張圖片分割成1000-2000張的候選區圖片后，要將這些候選區圖片進行變換，生成固定大小的候選圖片，在訓練提取特征時一般采用經過預訓練的模型參數進行finetuning，榱嗽黽友盜費本，模型在也將生成的候選框以及標定的標簽作為訓練樣本進行訓練。R-CNN采用SVMs分類器對特征向量進行分類，在訓練SVMs時將候選框經過卷積神經網絡提取的特征和SVM標定結果輸入到SVMs分類器訓練分類器模型。而在測試時將圖像全部候選框經過卷積神經網絡提取的特征輸入到SVMs分類器中，得到每一類的評分結果。但是R-CNN在處理一張圖片是要處理需要對一張圖片1000-2000個候選區圖像進行前向運算，保存所有后選取圖片的特征值，要求計算硬件有大量的存儲空間，同時處理每一張圖片的時間也會增加。由于訓練集龐大，本文采用hard negative mining method方法提高存儲的利用率。

R-CNN的體現出了極大的優勢，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN計算的時間成本很大，達不到實時的計算效果，R-CNN在對候選區進行處理時會使得圖像失真，部分信息丟失。

4.2 Fast-R-CNN

Fast-R-CNN則是再次改進的一種基于卷積神經網絡目標跟蹤定位算法。相比于R-CNN，Fast-R-CNN從單輸入變為雙輸入，在全連接層后有了兩個輸出，引入了Rol層。

Fast-R-CNN在運行的時候同樣會生成大量的候選區，同時將原始的圖片用卷積神經網絡進行特征提取，將原始圖片提取的特征與生成的候選區坐標送入Rol層為每一個候選區生成一個固定大小的特征向量。最后將Rol生成的特征向量全連接層產生最終的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于計算K+1分類的損失，K為第K個目標，1為背景；Regression LOSS計算候選區的四個角的坐標。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在計算候選區是仍存在瓶頸，這也是限制Fast-R-CNN速度的因素。

5 實驗測試

對于本文提出的卷積神經網絡識別圖像定位圖像目標算法R-CNN，Fast-R-CNN，在本章給出實驗結果。實驗平臺為基于Linux系統的debian8下運行caffe進行訓練，采用顯卡K620進行實驗。

訓練模型初始化參數在是服從高斯隨機分布，R-CNN采用的網絡結構如圖7所示，Fast-R-CNN的網絡結構如圖8所示。

本次實現的訓練樣本為錄制實驗室視頻數據，將視頻數據轉換成幀圖片，對每張圖片數據進行裁剪，裁剪后圖像大小在256*256，共有500張，再將裁剪后的圖片進行旋轉，平移，扭曲，鏡像，加噪聲等處理，最后生成144萬張樣本圖片，其中136.8萬張圖片作為訓練樣本，7.2萬張作為測試樣本。

6 總結

在目標識別定位領域，卷積神經網絡具有強大的圖像處理能力，對圖像的識別定位具有很高度平移，旋轉，扭曲不變形的優良性能。卷積神經網絡架構R-CNN和Fast-R-CNN都有強大的圖像處理能力。Fast-R-CNN在識別準確率上比R-CNN高。R-CNN算法復雜，對一張圖片需要進行1000-2000次的卷積運算，特征重復提取。因此在訓練和前向測試時，R-CNN用的時間長，不能很好的適用于處理實時圖片數據，尤其視頻數據。R-CNN在對每個候選區進行特征提取之后需要將提取的特征向量存入內存，降低訓練測試時間的同時也需要耗費大量內存。因此從各方面分析可知，Fast-R-CNN性能優于R-CNN。

參考文獻

[1]謝寶劍.基于卷積神經網絡圖像分類方法研究[D].合肥工業大學，2015.

[2]鄭胤，陳權崎，章毓晉.深度學習及其在目標和行為識別中的新進展[J].中國圖象圖形學報，2014（02）：175-184.

[3]陳先昌.基于卷積神經網絡的深度學習算法與運用研究[D].杭州：浙江工商大學，2006（04）：603-617.

[4]李彥冬，郝宗波，雷航等.卷積神經網絡研究綜述[J].計算機應用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

篇2

人工神經網絡（Artificial Neural Networks，ANN），是基于人類大腦的生物活動所提出的，是一個數學模型。它由眾多節點通過一定的方式互聯組成，是一個規模巨大、自適應的系統。其中有一種學習算法是誤差傳遞學習算法即BP算法。BP算法是人工智能最常用到的學習方法，從一定意義上來講，BP算法的提出，終結了多層網絡在學習訓練算法上的空白史，是在實際應用中最有效的網絡訓練方法，對ANN的應用和發展起到了決定性的作用。

BP算法是使用從輸出層得到的誤差來估算前一層的誤差，再利用該誤差估算更前一層的誤差。依次進行，就會獲得其他所有各層的估算誤差。這樣就實現了將從輸出層的得到誤差沿著與輸入信號傳送相反的方向逐級向網絡的輸入端傳遞的過程[1]。但是，BP算法也存在著不可忽視的缺陷。基于此，該文總結介紹了BP的改進方法。

2 BP算法的基本思想

2.1 BP算法的基本原理

BP算法是有監督指導的算法，它的學習訓練過程一般分為兩步：首先是輸入樣本的正向傳遞；第二步誤差的反向傳遞；其中信號正向傳遞，基本思想是樣本值從輸入層輸入，經輸入層傳入隱藏層，最后通過輸出層輸出，中間層對樣本數據進行處理操作，利用各層的權值和激活函數對數據進行操作然后在輸出層獲得輸出[2]；接下來就是反向傳遞，算法得到的實際輸出值與期望目標輸出之間必然會有誤差，根據誤差的大小來決定下一步的工作。如果誤差值較小滿足訓練的精度要求，則認為在輸出層得到的值滿足要求，停止訓練；反之，則將該誤差傳遞給隱藏層進行訓練，按照梯度下降的方式，對權值和閾值進行調整，接著進行循環，直到誤差值滿足精度要求停止訓練[3]。

3 BP算法的缺陷

盡管BP算法有著顯著的優點，但是在實際應用過程中，BP算法會出現很多問題。尤其是下面的問題，對BP神經網絡更好的發展有很大影響。有的甚至會導致算法崩潰。

3.1 收斂速度的問題

BP算法在進行訓練學習時，收斂速度慢，特別是在網絡訓練達到一定的精度時，BP算法就會出現一個長時間的誤差“平原”，算法的收斂速度會下降到極慢[4]。如果盲目的加快收斂速度，則會使算法產生震蕩現象。

3.2 局部極小點問題

在一些初始權值的條件下，BP算法在訓練過程中會陷入局部極值。這是由于BP網絡采用最速下降法，誤差曲面非常復雜且分布著許多局部極值點，一旦陷入，BP算法就很難逃脫，進而會使BP網絡的訓練停止。算法可以在某處得到一個收斂值，但是并不能確定取到了誤差曲面的最小值。這樣就會使網絡難以達到事先規定的誤差精度[5]。

3.3 網絡癱瘓問題

在算法的學習訓練過程中，網絡的權值會變得很大，從而使得節點的輸入變大，這就會導致其激活函數的導函數在改點取得的值很小，接著會導致算法的訓練速度變得極低，最終會導致BP網絡停止收斂，網絡癱瘓。

3.4 步長問題

BP的收斂是建立在無窮小權修改量的基礎上，而這就意味著網絡所需要的訓練時間是無窮的，這顯然是不可取的。因此，要限定權值修改量的值。這主要是因為，如果步長太小，那么網絡的收斂速度就會下降，如果步長太大，就會使BP神經網絡產生癱瘓和振蕩。學者們經過研究提出一個較好的方法，就是用自適應的步長代替原來的定值步長，以使權值修改量隨著BP網絡的訓練而不斷變化[6]。

4 改進BP算法的方法

BP算法應用廣泛，但它又存在很多缺陷，針對BP算法的問題，國內外許多學者提出各種改進方法，主要的改進方法分為兩類：一是啟發式改進，如附加動量法和自適應學習率等；二是結合新理論的改進。這些方法在不同程度上提高了網絡的收斂速度，避免了局部最小問題。

4.1 啟發式改進方法

啟發式改進方法是建立在BP網絡梯度下降規則的基礎上，通過對BP神經網絡的權值和學習率的改進，從而解決BP網絡在學習訓練過程中遇到的問題。它的核心思想是：使權重的調整量最大限度的適應誤差下降的要求。該文主要介紹了附加動量法。

傳統的BP算法實際上是運用最速下降規則來搜索最優點的算法，該規則是順著梯度的反方向進行權值的修正，并不將前一階段積累的經驗考慮進來。因此會在訓練過程中發生震蕩，導致收斂速度緩慢。但是將動量項引入到BP網絡中后，當輸入樣本依照順序輸入時，則可以將權值的修正公式看作為以t為變量的時間序列，那么權值的修改公式就改變為如下所示：

加入動量項以后若本次。

4.2 BP網絡結構的優化

在BP算法中，輸入和輸出節點的個數由實際問題確定，網絡結構的優化主要是針對隱藏層的節點數和層數。許多研究表明，一個隱藏層就可以解決各種分類問題。那么對于隱藏層節點的個數的確定，有的學者給出了公式[NH=NI+NO+L]（其中[NH]表示隱藏層節點數，[NI]表示輸入層節點數，[NO]表示輸出層節點數），但是公式缺乏一定的理論支持，所以目前最好的方法是通過經驗和在學習訓練過程中不斷的調整隱藏層節點數，最后得到一個合適的網絡結構。

4.3 基于新理論的算法改進

隨著對BP網絡結構知識的研究，能夠更加深刻的理解BP算法誤差傳遞的本質。出現了許多基于新興理論的BP算法的改進，這種改進方式是結合了其它領域比較成功的優化算法和理論，比如將遺傳算法與BP算法相結合，將遺傳算法高效的全局尋優能力引入進來，利用GA算法來優化BP算法的權值和閾值，解決BP神經網絡存在容易陷入局部極值和收斂速度慢的問題，兩種算法的結合實現了各自優勢的互補，取得了良好的效果[8]；將粒子群優化算法用于BP神經網絡的學習訓練，使算法更容易找到全局最優解，具有更好的收斂性[9]。很多研究者還將BP算法與模糊數學理論、小波理論、混沌算法等相結合。這些改進使得BP神經網絡得到更進一步的應用。

5 小結

BP算法是目前在神經網絡學習算法中得到最廣泛應用的。該文總結了BP算法的原理，針對BP算法中出現的問題，雖然給出了BP算法的改進方法，但還是有很多不足之處。隨著科學日新月異的發展，各種新的優化算法 不斷的提出，BP算法也會得到更廣泛的發展。

參考文獻：

[1] 胡彩萍.基于BP神經網絡的排序評價算法研究及應用[D].南昌：江西師范大學碩士學位論文，2009.

[2] 劉翔.BP算法的改進及其應用[D].太原：太原理工大學碩士學位論文，2012.

[3] 張璐璐.基于遺傳神經網絡的人民幣識別方法研究[D].長春：吉林大學碩士學位論文，2009.

[4] 張波.DRP決策支持系統及小波網絡在其中的應用[D].成都：四川大學碩士學位論文，2006.

[5]付海兵，曾黃麟.BP神經網絡的算法及改進[J].中國西部科技，2012，11（8）：1671-6396.

[6] 周羽.紅外圖像人臉識別研究[D].大連：大連理工大學碩士學位論文，2007.

篇3

關鍵詞： BP算法； 入侵檢測； 神經網絡； 隨機優化算子

中圖分類號： TN915.08?34； TP393.08 文獻標識碼： A 文章編號： 1004?373X（2017）11?0091?04

Research on BP algorithm based on neural network and its application

in network intrusion detection

LUO Junsong

（College of Information Science and Technology， Chengdu University of Technology， Chengdu 610059， China）

Abstract： By analyzing the problems of BP neural network applied to the detection system， the automatic variable?rate learning method， forgetting factor and random optimization operator are introduced into the BP algorithm on the basis of traditional BP algorithm. The BP algorithm is applied to the network intrusion detection system. The simulation results show that the improved BP neural network algorithm applied to intrusion detection has the characteristics of fast speed and easy convergence， and can quickly obtain the target accuracy of 0.02. The detection rate， missed detection rate and false alarm rate of the improved BP neural network algorithm can reach up to 96.17%， 3.83% and 4.15% respectively， whose detection rate is 11.65% higher than that of the traditional BP algorithm， the missed detection rate is 10.66% lower than that of the traditional BP algorithm， and the false alarm rate is 4.07% lower than that of the traditional BP algorithm. The superiority of the algorithm is obvious.

Keywords： BP algorithm； intrusion detection； neural network； random optimization operator

0 引 言

隨著通信技術和計算機技術的快速發展，計算機的網絡規模越來越大，通信系統也越來越復雜，由于計算機網絡本身具有漏洞，同時還有黑客對網絡進行攻擊，因此計算機網絡受到的威脅和攻擊日益增加[1?3]。網絡安全形勢越來越嚴峻。通過入侵檢測技術可收集計算機網絡中的若干關鍵點信息，同時對這些信息進行分析，并對網絡是否遭到襲擊、是否存在違反安全策略行為進行檢查，并做出及時響應，對網絡連接進行切斷并報警等[4?6]。目前傾向于通過入侵檢測技術結合人工智能算法進行相關研究，對于各種入侵行為，采用人工智能算法通過自學習、自適應能力進行識別、檢測[7]。

作為一種重要的模式識別方法，人工神經網絡具有自學習、自組織、推廣能力強等特點[8]。在入侵檢測系統中，應用人工神經網絡方法可使系統能較好地識別已知攻擊，同時還具有對未知攻擊進行檢測的能力[9]。但是在異常入侵檢測系統中，應用標準BP算法存在收斂局部極小值、學習速度慢等缺點，這在很大程度上影響了入侵檢測系統的性能[10]。本文在對原有BP神經網絡算法進行改進的基礎上，研究了優化的神經網絡BP算法及其在網絡入侵檢測中的應用。

1 BP神經網絡

BP神經網絡是一種多層前饋神經網絡，包括輸入信號前向傳遞和誤差反向傳播兩個過程，在結構上一般由輸入層、隱含層、輸出層三層構成，每一層的神經元狀態只影響下一層神經元狀態。它被廣泛應用在BP神經網絡預測模型中。網絡結構一般只需單個隱含層就能以任意精度逼近任意有理函數。訓練樣本的輸入、輸出向量的維數分別決定了網絡的輸入、輸出層神經節點個數，典型的只有單個隱含層、單個輸出的BP神經網絡結構如圖1所示。

圖1 BP神經網絡拓撲結構

圖1中，為BP神經網絡的一組輸入向量；為網絡的目標輸出值；為輸入層與隱含層之間的連接權值；為隱含層c輸出層之間的連接權值；分別為隱含層和輸出層的節點閾值。若設隱含層節點個數為則在前向傳遞中，輸入信號向量從輸入層經隱含層逐層傳輸，最后到輸出層，通過各層連接權值矢量、閾值矢量和每一層相應的激勵函數進行計算。得到輸出層的預測輸出值若預測值與目標值之間有誤差，則誤差部分轉入反向逐層傳遞，沿誤差減小方向調整網絡各層連接的權值、閾值。反復執行以上過程，使得BP神經網絡的預測值不斷逼近實際輸出值。

2 入侵檢測算法

網絡入侵檢測通過分析系統數據，一旦有網絡攻擊行為、非授權網絡訪問時，入侵檢測系統就會報警，同時對入侵線路進行切斷。入侵檢測系統應具有監視系統、用戶的活動，對系統、用戶活動進行分析，對異常行為模式進行分析，對已知進攻模式進行識別，審計系統弱點、構造，跟蹤管理系統審計，對系統、數據文件完整性進行評估，對用戶違反安全策略行為進行識別。常見的攻擊手段目前包括非授權獲得權限、非授權訪問、探測、拒絕服務等。在實際中，這些攻擊手段變異很大，入侵檢測難度較大。BP神經網絡具有較強的自學習和自組織能力，經過訓練后，對以前觀察到的入侵檢測行為模式，BP神經網絡會進行歸納和總結，可識別出已觀察到的攻擊和已知攻擊變異的新攻擊，圖2為網絡的入侵檢測過程。

3 改進的BP神經網絡入侵檢測

3.1 BP神經網絡用于檢測系統存在的問題

BP神經網絡采用分布式存儲，但傳統的BP算法存在一些不足，包括極小的局部，較慢的學習收斂速度，缺乏理論隱含層節點的選取，已經學完樣本會受到新加入樣本的影響，每次樣本的輸入必須具有確定相同的特征數目。

在入侵檢測中，BP神經網絡的實現方式主要是與現有系統結合進行，BP神經網絡與應用模式識別系統相結合使用，例如與專家系統結合。在這種方式中，BP神經網絡可作為系統組成部分，通常是作為信息過濾模塊或信息預處理模塊，當信息輸入系統后，神經網絡會對信息做過濾處理。另外，神經網絡可規則自動生成模塊，進而更新入侵檢測系統規則庫、模式庫。這種方式的優點是能將入侵檢測系統的工作性能提高，缺點是這種方式神經網絡的真正優勢不能得到充分發揮。

3.2 改進的神經網絡算法

在信號檢測、非線性處理、模式識別等領域，人工神經網絡應用較多，這是因為人工神經網絡自組織性、自適應性非常好，同時其非線性特性明顯，信息存儲為分布式模式、可進行大規模的并行處理。實質上BP神經網絡算法屬于非線性優化的梯度算法，在收斂性上，該算法存在不足，也就是說該算法的學習結果有可能落入到均方誤差全局最小點，也有可能落入到局部極小點，造成算法不收斂，使工作模式陷入錯誤。

入侵檢測系統的主要功能是對入侵計算機網絡的行為和計算機系統進行檢測，包括數據聚類、數據采集、分析判斷行為、對入侵行為進行響應、報警等。BP網絡各層神經元僅連接相鄰層神經元；在各層內部，神經元間無連接；同時各層神經元間也無反饋連接。在信號輸入后，傳播到隱節點經變換函數再將信息傳播到輸出節點，經過處理，輸出結果。本文將改進的BP 神經網絡用于入侵檢測系統，其檢測模型見圖3。

3.2.1 采用自動變速率學習法

傳統BP算法在梯度基礎上，采用最陡下降法LMS學習問題，學習步長為一個較小值，并且這個值是固定不變的，對網絡收斂無益處。因而選擇基于梯度方向自動對學習速率進行調節。通過梯度對學習方向做最終確定，在梯度方向上，學習步長由速率決定。若相鄰兩次梯度方向是相同的，表明該方向的收斂有利；若相鄰兩次梯度方向是相反的，表明該方向的收斂不穩定。根據這個規律，通過兩次相對梯度的變化確定學習步長。當兩次梯度為相同方向時，學習步長增大，該方向上學習速度要加快；在兩次梯度為相反方向時，學習步長減小，整個網絡收斂速度要加快，自適應速率調節方法如下：

（1）

（2）

式中表示在時刻和時刻梯度的乘積。

3.2.2 引入遺忘因子

根據相鄰兩次梯度變化，通過自適應變速率學習法對學習步長算法進行確定。變化單純學習速率，這時收斂速度不能完全保證，但不會有振蕩產生，因此考慮變速率學習法，在權值調節量上，加一個量，這個量正比于前幾次的加權，權值調節量采用式（3）計算：

（3）

式中：表示遺忘因子，引入遺忘因子項，在學習過程中可通過對學習速率進行等效微調的效果進行說明。遺忘因子的作用是緩沖平滑，并使調節的平均方向朝底部變化。

3.2.3 引入隨機優化算子

BP神經網絡算法在引入遺忘因子，采用自動變速率學習法后，雖然可微調學習速率，但BP神經網絡的不足和限制仍存在，為了進一步對BP神經網絡進行優化，本文引入隨機優化算子，當網絡權值誤差迭代達到一定次數后，收斂不明顯或連續幾次發生系統誤差函數梯度變化，這種情況表明網絡進入疲乏狀態，要借助外界推動力對網絡進行激活。當出現這兩種情況時，與權值維數相同的隨機數就產生了，直接將權值和隨機數相加，對系統誤差變化進行判斷，若誤差未降低，繼續產生隨機數，進行權值修改，當誤差出現減少時停止，然后再從新權值繼續開始BP算法，隨機優化算子可隨機變化搜索方向，局部極小點就擺脫掉了，圖4為改進的BP算法流程圖。

4 仿真實驗

本文的仿真實驗在Matlab 7.0實驗平臺進行，以此來驗證提出改進的BP神經網絡算法是否能達到較好的效果，本文同時給出采用未改進的BP算法網絡入侵檢測和改進的BP神經網絡算法網絡入侵檢測模型仿真實驗結果。

圖5為兩種算法得到的訓練精度。從兩種算法的實驗仿真結果可看出，將改進的BP神經網絡算法用于入侵檢測，速度快、易收斂，目標精度0.02很快達到。在規定周期內，未改進的BP算法不能達到規定的目標精度，易陷入局部極小，本文提出的改進的BP算法所用訓練周期較短，學習時間縮短顯著，效果良好。

評價檢測模型的標準為漏報率、誤報率、檢測率，其定義分別如下：

表1為未改進的BP算法與改進的BP算法的比較結果，從表1中可看出，改進的BP神經網絡算法的檢測率、漏報率、誤報率分別為96.17%，3.83%，4.15%，檢測率比未改進的BP算法要高出11.65%，漏報率比未改進的BP算法要低10.66%，誤報率比未改進的BP算法要低4.07%。

表1 兩種算法的入侵檢測結果

[算法 訓練周期 /s 檢測率 /% 漏報率 /% 誤報率 /% 基本BP算法 480 84.52 14.49 8.22 改進的BP算法 480 96.17 3.83 4.15 ]

5 結 語

本文在對原有BP 神經網絡算法進行改進的基礎上，研究了改進優化的BP神經網絡算法及其在網絡入侵檢測中的應用。通過分析BP神經網絡用于檢測系統存在的問題，在傳統BP算法基礎上，采用自動變速率學習法，引入遺忘因子、隨機優化算子，并將其用于網絡入侵檢測系統。仿真實驗表明，改進的BP神經網絡算法用于入侵檢測，速度快易收斂，目標精度0.02很快達到。本文算法具有明顯的優越性，各種入侵行為檢測率得到明顯提高，系統誤報率也降低了，入侵檢測系統性能得到有效改進，本文算法優越性明顯。

參考文獻

[1] 宋玲，常磊.變異粒子群優化的BP神經網絡在入侵檢測中的應用[J].智能系統學報，2013，8（6）：558?563.

[2] 劉伉伉，謝福，郭雪雪.基于BP神經網絡的云計算入侵檢測技術研究[J].計算機與數字工程，2014（12）：2357?2361.

[3] 黃煜坤.基于BP神經網絡算法的入侵檢測技術[J].電子制作，2015（10）：60?62.

[4] 沈夏炯，王龍，韓道軍.人工蜂群優化的BP 神經網絡在入侵檢測中的應用[J].計算機工程，2016，42（2）：190?194.

[5] 王玲.基于BP 算法的人工神經網絡建模研究[J].裝備制造技術，2014（1）：162?164.

[6] 王俊士，李江濤.一種改進的BP神經網絡算法在入侵檢測中的應用[J].電腦知識與技術，2014，10（3）：614?617.

[7] 顏謙和，顏珍.遺傳算法優化的神經網絡入侵檢測系統[J].計算機仿真，2011，28（4）：141?144.

[8] 汪潔.基于神經網絡的入侵z測系統的設計與實現[J].計算機應用與軟件，2013（5）：320?322.

篇4

為降低神經網絡的冗余連接及不必要的計算代價，將量子免疫克隆算法應用于神經網絡的優化過程，通過產生具有稀疏度的權值來優化神經網絡結構。算法能夠有效刪除神經網絡中的冗余連接和隱層節點，并同時提高神經網絡的學習效率、函數逼近精度和泛化能力。該算法已應用于秦始皇帝陵博物院野外文物安防系統。經實際檢驗，算法提高了目標分類概率，降低了誤報率。

關鍵詞：神經網絡；量子免疫克隆算法；目標分類；冗余連接；網絡優化

中圖分類號： TP273

文獻標志碼：A

Quantum-inspired clonal algorithm based method for optimizing neural networks

Abstract：

In order to reduce the redundant connections and unnecessary computing cost， quantum-inspired clonal algorithm was applied to optimize neural networks. By generating neural network weights which have certain sparse ratio， the algorithm not only effectively removed redundant neural network connections and hidden layer nodes， but also improved the learning efficiency of neural network， the approximation of function accuracy and generalization ability. This method had been applied to wild relics security system of Emperor Qinshihuangs mausoleum site museum， and the results show that the method can raise the probability of target classification and reduce the false alarm rate.

Key words：

neural network； quantum-inspired clonal algorithm； target classification； redundant connection； network optimization

0 引言

神經網絡已經被廣泛地應用于模式分類、函數逼近、信號預測等各種領域，是近年來的研究熱點之一[1-2]。在應用過程中，研究人員發現，當神經網絡的規模過大會產生連接數量冗余大、計算代價過高的問題，降低了大規模神經網絡的實用性。針對此問題，研究人員提出了多種方法在保持神經網絡的前提下優化神經網絡的結構和參數權值。Leung等[3-4]改進了傳統的遺傳算法（Genetic Algorithm， GA）并將其應用于神經網絡的結構和權值優化過程，利用遺傳算法的快速收斂性來提高神經網絡的學習速度，其缺點在于當目標函數維數過大時容易陷入局部最優。Xiao等[5]使用混合優點（Hybrid Good Point， HGP）優化前向神經網絡的參數和結構，避免權值陷入局部最優，但其對網絡結構的優化沒有達到最優。Shu等[6]提出正交模擬褪火（Orthogonal Simulated Annealing， OSA）算法， 使用褪火算法和正交算法的優點來同時優化神經網絡結構和參數，其算法收斂速度快、魯棒性好，缺點則在于計算代價較大。杜文莉等[7]提出了使用量子差分進化（Cooperative Quantum Differential Evolution， CQGADE）算法來優化神經網絡權值，使用量子遺傳算法優化網絡結構和隱層節點數，算法綜合了量子遺傳算法和量子差分算法的優點，收斂速度快，但其缺點在于需要同時協同兩種算法的優化結果，算法復雜度較高，且容易陷入局部最優。Tsai等[8]提出混合田口遺傳算法（Hybrid Taguchi Genetic Algorithm， HTGA），將傳統的GA與Taguchi方法結合起來，使得算法具有魯棒性好、收斂性快等優點，但其缺點在于獲得最優解的計算代價較大。

量子免疫克隆算法[9-12]（Quantum-inspired Immune Clonal Algorithm， QICA）也稱為量子遺傳算法（Quantum Genetic Algorithm， QGA），其將量子搜索機制和免疫算法克隆選擇原理相結合，利用量子編碼的疊加性和隨機性構造抗體，利用遺傳算法的克隆操作產生原始種群和克隆子群實現種群擴張，使搜索空間擴大，提高了局部搜索能力；同時借助全干擾交叉操作避免陷入局部最優。QICA采用了多狀態量子比特編碼方式和通用的量子旋轉門操作， 引入動態調整旋轉角機制和量子交叉[11]。QICA在組合優化問題中具有良好的表現。

針對上述問題，提出了使用量子克隆免疫算法對神經網絡的結構和連接權值同時進行優化，通過產生具有一定稀疏度的連接權值對網絡隱層數量和連接權值進行優化，提高了算法的效率和收斂速度，避免了算法陷入局部最優。

1 帶開關權值的神經網絡模型

在經典的神經網絡理論中，網絡結構在初始化后便不再變動，僅通過權值的變化來計算產生結果，這種算法增加了神經網絡的結構復雜性，在實際應用中增加了計算結果的代價。Leung等[3-4]提出了帶開關權值的神經網絡，通過調整開關的通斷就能調整神經網絡的結構和連接數量，從而減少計算代價。帶開關權值的神經網絡模型如圖1所示[7]。

2.2 權值計算及優化方法

根據量子克隆免疫理論，將神經網絡權值計算及優化過程分為以下四個過程。

2.2.1 權值抗體初始化

量子克隆免疫算法是基于量子計算和遺傳算法組成的，其抗體的編碼方式采用量子比特編碼。一個抗體中的量子位的狀態是不確定的，可以為0或1，其狀態表示為式（5）：

3.1 算法復雜度分析

量子克隆免疫算法的實質是通過量子理論的隨機特性提供豐富的種群數量，并通過使用遺傳算法對種群進行淘汰和進化，因此其算法的復雜度等于種群生成算法的復雜度：假設神經網絡有x個輸入，其隱層節點數量為N，輸出為y，則網絡中的輸入與隱層節點間的連接權值ω的數量為：x*N，隱層節點與輸出層的連接權值v的數量為：N*y。種群生成需要對所有節點進行權值初始化，并將隨機位置的n（nN）個節點的權值設置為0， 其算法復雜度為O（n2）。而克隆免疫算法在種群克隆及抗體選擇過程中使用遺傳算法，因此其算法的復雜度與傳統遺傳算法相同，其算法復雜度也為O（n2）。因此，使用量子免疫克隆的神經網絡優化算法的復雜度為O（n2）。

3.2 非線性函數逼近

選取復雜交互非線性函數（Complicated Interaction Function，CIF）：

其中0

選取樣本700組，其中500組用于訓練，其余200組用于檢測性能。神經網絡的初始隱層神經元設置為20個，初始網絡結構為：2-20-1，初始連接權值為隨機值。在此條件下驗證不同稀疏度條件下對CIF的二維逼近效果如圖3所示。

圖3顯示隨著稀疏度的不斷降低，神經網絡的逼近能力有所減弱，逼近誤差則逐漸增大。這主要是因為神經網絡中的連接權值數量降低，造成神經網絡的適應性差。具體逼近效果見表2。

從表2中可以看出，隱層節點數量直接影響著神經網絡的性能。高稀疏度條件下的計算量大，但逼近精度高；低稀疏度條件下的計算量小，但逼近精度較差。實驗表明當稀疏度大于0.6時，算法的逼近精度高于90%，優化后的網絡具有較好的非線性逼近能力。當神經網絡隱層節點數量低于12時逼近精度大幅下降，說明此時神經網絡處理信息的能力也隨之大幅減弱，隱層節點的最合適的數量為12～14個，這也符合文獻[14]的實驗結果。

圖4為不同稀疏度下，算法適應度的收斂情況。可以看出量子克隆免疫算法具有很好的收斂特性，算法收斂速度很快，能夠在很短的進化次數內收斂至極值，且稀疏度越低，神經網絡的連接權值數量越少，算法收斂速度越低，最優適應度越差。

表3為相同條件下，不同算法的最優計算結果，包括目標分類的準確度、隱藏層節點數量等。可以看出，當稀疏度高于0.8時，本文算法收斂性和適應度均優于混沌粒子群（Chaotic Particle Swarm Optimization，CPSO）[15]、粒子群優化算法（Particle Swarm Optimization，PSO）[16]、混合田口遺傳算法[Hybrid Taguchi-Genetic Algorithm，HTGA][8]等其他算法，說明算法具有很好的收斂速度、尋優精度和魯棒性。

3.3 微地震信號目標分類

實驗場地選擇在秦始皇兵馬俑博物館內K9901號坑旁。所有傳感器節點沿公路一側直線部署，距離公路1m左右。可能產生地震波的活動物體包括人員行走、機動車和挖掘活動。將采集到的微地震信號進行濾波、分幀、特征提取等處理后輸入至神經網絡進行模式識別。

系統對傳感器采集到的數據進行分幀，并使用功率譜二次分析[17]算法對其進行處理，最后將經過預處理的數據輸入至神經網絡對其進行分類。根據其活動特點，將輸出目標分為三類：人員活動、挖掘活動以及機動車輛活動。傳感器采集到的三類活動的經典波形如圖5所示。

表6中給出了算法的最優計算結果，包括不同稀疏度條件下神經網絡的隱藏層節點數量、最優適應度以及分類準確率等。可以看出，算法能夠有效減少冗余的隱藏層節點數量，并降低節點連接數量。算法的稀疏度越高，其適應度越好，其分類的準確性越好，但稀疏度高帶來的則是計算代價增大、計算復雜度增加。當稀疏度低于0.7時，算法的適應度變差，目標的識別率為90%，在實際應用過程中帶來了誤判率較高的問題，降低了實用性。因此在秦始皇帝陵博物院野外文物安防系統中使用了稀疏度為0.7的算法對模式識別的神經網絡進行優化。

4 結語

本文提出了基于量子免疫克隆算法的神經網絡優化算法，該算法在訓練神經網絡優化權值的同時刪除了冗余連接和多余的隱層節點，實現了神經網絡結構和網絡權值的優化。通過經典非線性函數逼近和目標識別檢驗，算法能夠有效地優化神經網絡，提高神經網絡的優化效率，減少計算復雜度。使用優化后的神經網絡已經用于秦始皇帝陵博物院野外文物安防系統中。

參考文獻：

[1] QIAO H， ZHOU Y，SHAO N， et al. Software reliability prediction based on learning vector quantization neutral network[J]. Journal of Computer Applications， 2012，32（05）：1436-1438.）（喬輝，周雁舟，邵楠，等.基于學習向量量化神經網絡的軟件可靠性預測[J].計算機應用，2012，32（5）：1436-1438.）

[2] PAN Y， DENG Y， ZHANG Q， et al. Deterministic prediction of wavelet neural network model and its application[J]. Journal of Computer Applications，2013， 33（4）：1001-1005.（潘玉民，鄧永紅，張全柱，等.小波神經網絡模型的確定性預測及應用[J].計算機應用，2013，33（4）：1001-1005.）

[3] LEUNG H F，LAM H F， LING S F， et al. Tuning of the structure and parameters of neural network using an improved genetic algorithm[C]// Proceedings of the 27th Annual Conference of IEEE Industrial Electronics Society. Piscataway： IEEE，2001：25-30.

[4] LEUNG H F， LAM H F， LING S H， et al. Tuning of the structure and parameters of a neural network using an improved genetic algorithm[J]. IEEE Transactions on Neural Network，2003，14（1）：79-88.

[5] XIAO C， CAI Z， WANG Y， et al. Tuning of the structure and parameters of a neural network using a good points set evolutionary strategy[C]// Proceedings of the 9th International Conference for Young Computer Scientists. Piscataway： IEEE， 2008：1749-1754.

[6] SHU L， HO S Y， HO S J. Tuning the structure and parameters of a neural network using an orthogonal simulated annealing algorithm[C]// Proceedings of the 2009 Joint Conferences on Pervasive Computing. Piscataway： IEEE，2009：789-792.

[7] DU W， ZHOU R， ZHOU L， et al. Cooperative quantum differential evolution algorithm based method for optimizing neural networks[J].Journal of Tsinghua University： Science and Technology， 2012，52（3）：331-335.（杜文莉，周仁，趙亮，等. 基于量子差分進化算法的神經網絡優化方法[J].清華大學學報：自然科學版，2012，52（3）：331-335.）

[8] TSAI J， CHOU J， LIU T. Tuning the structure and parameters of a neural network by using hybrid Taguchi-genetic algorithm[J]. IEEE Transactions on Neural Network， 2006，17（1）：69-80.

[9] LI Y， JIAO L. Quantum-inspired immune clonal algorithm and its application[C]// Proceedings of the 2007 International Symposium on Intelligent Signal Processing and Communication Systems. Piscataway： IEEE， 2007：670-673.

[10] JIAO L， LI Y， GONG M，et al. Quantum-inspired immune clonal algorithm for global optimization[J]. IEEE Transactions on Systems， Man and Cybernetics， Part B： Cybernetics， 2008，38（5）：1234-1253.

[11] ZHOU C， QIAN F. Improvement of quantum genetic algorithm and its application[J]. Journal of Computer Applications， 2008，28（2）：286-288.（周傳華，錢峰.改進量子遺傳算法及其應用[J].計算機應用， 2008，28（2）：286-288）

[12] ZHOU Q， JIANG S， ZHAO X， et al. Improved quantum genetic algorithm and its application in test data generation[J]. Journal of Computer Applications，2012，32（2）：557-560.（周綺，姜淑娟，趙雪峰，等.改進的量子遺傳算法及其在測試數據生成中的應用[J].計算機應用，2012，32（2）：557-560.）

[13] QIAO J，LEE Y G， SCOTT D S， et al. Self-organizing radial basis function network for real-time approximation of continuous-time dynamical systems[J]. IEEE Transactions on Neural Networks，2008，19（3）：460-474.

[14] HAN H， QIAO J， BO Y， et al. On structure design for RBF neural network based on information strength[J]. Acta Automatica Sinica， 2012，38（7）：1083-1090.（韓紅桂，喬俊飛，薄迎春，等.基于信息強度的RBF神經網絡結構設計研究[J].自動化學報， 2012，38（7）：1083-1090.）

[15] ZHAO L. Fuzzy identification and neural networks learning based on cooperative PSO algorithm[D]. Shanghai： Shanghai Jiao Tong University，2008.（趙亮.基于協同PSO算法的模糊辨識與神經網絡學習[D].上海：上海交通大學，2008.）

篇5

關鍵詞： ATR2神經網絡； 警戒值； 模式漂移； 模式識別

中圖分類號： TN911?34 文獻標識碼： A 文章編號： 1004?373X（2014）18?0041?03

An improved algorithm based on ART2 neural network

HU Xin， YE Qing， GUO Geng?shan

（Changsha University of Science and Technology， Changsha 410114， China）

Abstract： Aiming at the problems of setting vigilance parameter and pattern drift produced in the process of classification identification of the traditional ART2 neural network， a new ART2 neural network model based on modified algorithm is presen?

ted in this article to solve problems concerning analysis of pattern identification. Reasonable vigilance parameter needed by clustering is deduced through the processing of self?organization， weighting and iteration. In order to conduct reasonable classification of clustering objects， the measures of slowing learning rate which can be realized by modifying the weight training of ART2 neural network to reduce the speed of pattern drifting should be taken. The experimental results have proved that the new model is of high validity and feasibility.

Keywords： ATR2 neural network； security value； pattern drift； pattern recognition

0 引 言

ART2神經網絡的輸入為任意模擬輸入矢量，所以它有非常廣泛的應用范圍，通過對警戒值的調整，ART2神經網絡可以對輸入的模擬矢量進行不同精度的分類。ART2是基于自適應諧振理論的一種自組織神經網絡，通過競爭學習和自穩機制原理實現分類，它主要是為了解決下列問題而提出的：設計一個學習系統，同時擁有穩定性和可塑性，即系統在不斷學習新知識的時候能保持原有的知識[1?2]。

迄今為止，基于ART網絡的模式分類方法有很大發展，其中具有代表性的就是S.Grossberg和A.carpenter提出的用于并行分類和自適應模式分類方法[3?4]。

傳統的自適應諧振神經網絡也存在著一些缺陷，主要體現在：傳統的ART神經網絡在網絡訓練前要給出警戒參數，該警戒參數對于網絡聚類結果具有直接的影響。當警戒參數較高時，ART系統對模式的相似性要求就越高，類的劃分就越細，形成的類別就越多；當警戒參數較低時，網絡有較強的容錯能力，因此就產生較少的分類數目[5?6]。

由于傳統的ART2網絡在對輸入模式識別分類時，會產生模式漂移現象，從而無法實現更準確的分類。對部分權值的修正放慢學習速度，將改善模式漂移現象。

1 ART2神經網絡的結構和原理

1.1 ART2神經網絡結構

ART2系統由定向子系統OS和注意子系統AS構成，注意子系統AS由感受層SL和反應層RL和控制增益GC組成，既有短時記憶[OS（t）]和[OR（t）]，又有長時記憶，包括自低向上的長時記憶[Ω（SR）]和自頂向下的長時記憶[Ω（RS）]。作為神經計算的模型，ART2系統是由人工神經元形成的系統。感覺神經元構成了系統的感受層，而反應神經元構成了系統的反應層，ART2網絡的結構如圖1所示。

圖1 ART2神經網絡基本結構

在系統中，各感覺神經元之間的聯結關系包括：[Dab：SLaSLb]，[Dbc：SLbSLc]，[Dcd：SLcSLd]，[Dde：SLdSLe]，[Def：SLeSLf]，[Dda：SLdSLa]，[Dfc：SLfSLc]。各子集[SLk（V（S）k）（k∈{a，b，c，d，e，f}）]之間的聯結關系式對應元素之間的聯結，因而，其聯結關系矩陣[Dij（i，j∈{a，b，c，d，e，f}）]均為對角矩陣。

在感受層SL中，只有子集[SLa（V（s）a）]可以接受外部輸入信號[x]，另外只有子集[SLe（V（S）e）]的狀態向量[OSe]能作為系統感受層SL的輸出，用于系統的反應層RL[3]。

1.2 ART2神經網絡的工作原理

1.2.1 參數及聯結權值初始化

所有神經元的輸出置0向量，計數器初始值為[C=0]；SL層從下到上的長時記憶初始為：

[Ω（SR）=0.5（1-α3）?mnm]

RL層從上到下的長時記憶初始為：

[Ω（RS）=（0）mn]

各參數確定為：

[α1>0， α2>0，0

1.2.2 計算步驟

ART2網絡的運行按照如下的步驟進行：

（1） [SLa]運算：

[O（S）a=x+α1O（S）d]

（2） [SLb]運算：

[O（S）b=O（S）aε+O（S）a]

（3） [SLc]運算：

[O（S）c=f（O（S）b）+α2f（O（S）f）]

式中：[x>α3]時[f（x）=x]，[x≤α3]時[f（x）=0]。

（4） [SLd]運算：

[O（S）d=O（S）cε+O（S）c]…

（5） [SLe]運算：

[O（S）e=O（S）d， C=0O（S）d+ω（RS）kα4， C>0]

（6） [SLf]運算：

[O（S）f=O（S）eε+O（S）e]

（7） SL測試：如果短時記憶[O（S）i（i∈a，b，c，d，e，f）]沒有達到穩定狀態，轉到步驟（11）。

（8） 計數和轉移：如果[C=0]，轉到步驟（11）。

（9） OS運算：

[r=O（S）d+α4O（S）eε+O（S）d+α4O（S）e]

若[r

（10） 復位操作：如果復位信號[r=1]，則置[O（S）k=0]，抑制[v（R）k]到ART2系統達到“諧振”狀態，重置短時記憶[OS=0]和[C=0]，轉到步驟（1）；否則[r=0]，轉向步驟（14）。

（11） RL運算：

[O（R）k=α4， ω（SR）TkO（S）e=maxω（SR）TiO（S）e0， 其他]

其中[O（R）k=α4] 的單元[v（R）k]記作競爭獲勝單元。

（12） 引發期待：[Ω（RS）Tω（RS）k]。

（13） 計數和轉移：[C=C+1]，轉向步驟（5） 。

（14） 諧振：[r=1]說明[x]與[ω（RS）k]匹配，ART2系統達到諧振狀態，ART2快速學習機制啟動。

（15） 前饋學習：更新前饋聯結關系[Ω（SR）]的第[k]個列向量[ω（SR）k]：

[ω（SR）k=O（S）d1-α4]

（16） 反饋學習：更新反饋聯結關系[Ω（RS）]的第[k]個行向量[ω（RS）k]：

[ω（RS）k=O（S）d1-α4]

（17） 停機條件：若對于任意輸入[x]，[Ω（RS）]和[Ω（SR）]都是穩定的，ART2系統停止運行；否則刪除輸入模式，RL中所有被抑制的反應神經元恢復起始，重置短時記憶[OR=0]和[OS=0]，重置計數器[C=0]。

2 改進的ART2神經網絡

在上述傳統的ART2神經網絡算法中對于警戒值[ρ]的選擇是根據經驗所得，這里提出了一種在神經網絡計算前對[ρ]的選取算法。同時為了解決模式漂移的問題，對ART2神經網絡中F2至p層和p層至F2層的權值進行修改，減緩學習速率，從而可以有效地減少模式漂移帶來的誤差[7]。

2.1 具體算法描述

（1） 設置警戒參數初值ρ，開始設置接近l，在初始聚類時，對于接近的輸人向量也會在這個過程進行融合，每個差異較大的輸入向量就會產生一個類別。

（2） 由于ART2模型的輸出端是一維陣列，可按神經元模值將神經元放置在x軸上，以模值大小順序對輸出層神經元的位置進行重新排列，以模值為判斷依據，同時對自頂向下和自低向上權重矩陣進行調整。

（3） 在解決漂移模式問題中，模式漂移現象主要

原因是權值的修正方法不準確引起的，在傳統的ART2算法中，權值修正公式在每次輸入模式結束時，權值都近似等于[O（S）d1-α4]，在學習新的模式之后容易遺忘已經學過的輸入模式，權值總是向當前的輸入數據靠近。所以對ART2神經網絡中F2至p層和p層至F2層的權值進行修改，減緩學習速率，修正后的權值為：

從F2層到p層的權值為：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]；

從p層到F2層的權值為：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]；

2.2 具體算法步驟

加入警戒值選擇和權值修改后的改進ART2神經網絡算法如下：

（1） ρ=ρ-del ；del為警戒參數遞減值；

（2） 將第k次迭代神經網絡輸出層的每一個神經元代表的類別向量組成第k+1次迭代神經網絡的輸入向量樣本集X（k+1）；

（3） 按序輸入X（k）樣本集中每個向量，訓練的算法按照步驟（4）整個過程；

（4） 在傳統ART2神經網絡學習中的對步驟（15），步驟（16）進行修改如下：

步驟（15） 前饋學習：更新前饋自適應聯結關系[Ω（SR）]的權值：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]

步驟（16） 反饋學習：更新反饋自適應聯結關系[Ω（RS）]的權值：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]停機條件不變。

3 實驗及其結果分析

為了驗證算法改進后的分類效果，對傳統ART?2神經網絡算法和改進后的算法進行了實驗比較[8?10]。本文采用實際數據做為測試數據。實際數據采用來自美國加州Irvine大學信息與計算機科學系中所提供的Glass數據。Glass數據是在記錄玻璃所包含的化學元素情況，記錄中包含了處理過與非處理過的建筑用窗戶、處理過與非處理過的貨車窗戶、容器、餐具以及車燈共7種類別，而在G1ass數據中則有9種不同的化學元素，分別是鋯、鈉、鎂、鋁、硅、鉀、鈣、鋇、鐵九種屬性，Glass數據集一共是214組。在不同用途的玻璃中化學元素的含量不同，如表1所示。

表1 不同用途的玻璃中化學元素的含量

在進行ART2神經網絡的訓練時候，對于參數設為ρ=0.95，a=10，b=10，c=0.1，d=0.9，del=0.01。將神經網絡程序運行結果， 與數據集中正確分類進行對比之后，發現以前ART2網絡由于模式漂移和警戒參數人工設置問題設置產生了10個分類，產生了較大分錯率。由改進的ART2網絡下運行結果顯示降低了這些問題的影響，只產生了8個分類，而且在每一類的分類中，改進后的神經網絡可以更好地對每一組數據進行正確的分類。如表2所示。

表2 傳統神經網絡和改進后神經網絡的分類比較

4 結 語

針對本文中摘要提出的警戒值選取問題，在改進的ART2神經網絡聚類算法中，利用以前警戒參數訓練神經網絡結果的基礎上迭代，改變了神經網絡主觀設定警戒參數的問題。針對模式漂移的問題，通過改進聯結權值，使改進后的ART2神經網絡網絡減慢了學習速率，近而降低了模式漂移的速度。實驗證明，在改進選取警戒值和對聯結權值修改后的ART2神經網絡更好地實現了聚類分類，同時提高了模式識別的精度。

參考文獻

[1] 陳國燦，高茂庭.ATR2神經網絡的一種改進[J].計算機工程與應用，2013（4）：2?3.

[2] 沈艷超，葉青.車輛特征提取和分類方法的研究[D].長沙：長沙理工大學，2010.

[3] 阮曉剛.神經計算科學[M].北京：國防工業出版社，2006.

[4] CARPENTER G A， GROSSBERG S. ART2 self?organization of stable category recognition codes for analog input patterns [J]. Applied Optics， 1987， 26（l）： 4920?4927.

[5] 錢曉東，王正歐.基于算法改進的ART2數據聚類方法研究[J].哈爾濱工業大學學報，2006（9）：1549?1553.

[6] 錢曉東，王正歐.基于神經網絡等技術的數據與文本聚分類研究[D].天津：天津大學，2005.

[7] 譚錦華，鄺獻濤.基于ART2神經網絡與動態聚類的分類器[J].控制工程，2005（z1）：68?70.

[8] 姚光順.ART?2神經網絡的缺點及其改進[J].儀器儀表用戶，2008（2）：117?118.

篇6

關鍵詞：字符識別；BP神經網絡；車牌識別

中圖分類號：TP391.41 文獻標識碼：A

1 引言（Introduction）

汽車牌照的識別是計算機視覺與模式識別應用于的重要研究課題，車牌識別的準確率和高效性是識別的關鍵。由于車牌圖像難免會受到光照、天氣等因素影響，車牌圖像質量會有所下降，為了對車牌字符的進行有效地識別，首先要對其進行去噪、增強等預處理，之后應用識別算法對其進行識別[1]。本文研究了用BP神經網絡方法對汽車牌照字符的識別算法。首先對分割、歸一化后的字符特征進行提取，所提取的特征向量記錄的就是字符的特征。把這個特征向量送到BP網絡中進行訓練，就可以得到訓練好的權值，用這個權值對車牌字符進行識別。對于車牌圖像的識別率達90%以上，表明該方法是有效的。

2 字符識別的原理（The principle of character

recognition）

字符識別的基本原理即對字符進行匹配識別。提取代表未知字符基本特征、結構的樣本庫和提前在計算機中保存的標準字符的字典（字符基本特征和結構的集合），在一定的規則下逐個匹配比較。在計算機中保存的標準字符的字典中，尋找與輸入字符樣本最相似的表達項，然后找出對應的字符就是識別的結果[2]。字符識別的原理框圖如圖1所示。

3 BP神經網絡字符識別算法（The BP neural network

character recognition algorithm）

BP算法基本原理是利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計[3]。對BP網絡的設計要點是高效率的特征提取方法、具有代表性的大量訓練樣本和穩定高效的學習方法。

3.1 BP神經網絡學習算法

算法的基本流程就是：

（1）設置變量和參量，包括輸入向量（訓練樣本和樣本個數）、每次迭代中輸入層和隱含層之間、隱含層與隱含層之間、隱含層與輸出層之間的權值向量矩陣、迭代次數、每次迭代的實際輸出、期望輸出和學習效率。

（2）隨機初始化權值矩陣。給三類權值矩陣賦一個相對較小的隨機非零值。

（3）進行樣本輸入。采用隨機輸入的方法。

（4）前向傳播。按照公式一層一層的前向計算隱藏神經元和輸出神經元的輸入和輸出。

（5）誤差計算，判斷。根據每次迭代的期望值和實際輸出結果算出誤差，判斷誤差值滿足要求與否，如果滿足進行第8步，否則進行下一步。

（6）迭代次數判斷。如果已經達到最大的迭代次數，則進行第8步，否則進行反響傳播，即反向按照公式一層層迭代計算每層神經元的局部梯度。

（7）權值更新。依據反向傳播過程計算出的局部梯度值，計算出各矩陣的權值修正值，并進行修正。

（8）終止判斷。終止條件為：所有的樣本都學習完成。否則進行第3步。

3.2 實際使用BP神經網絡過程中的一些問題

①樣本的處理。可適當放寬輸出條件，例如當輸出大于0.9時就當作是1，輸出小于0.1時當作0。對于輸入樣本，也應該進行歸一化處理。

②初始化權值的選擇。權值的不同對學習結果會產生影響，因此選擇一個相對比較合理的權值是非常重要的。實際使用時，應該用較小的隨機數來對權值進行初始化，隨機數的大小的分布也應該是均勻的。

③學習率的選擇。神經網絡中有一個學習率的概念，為了保證系統的穩定性，通常應該取較小的學習率，一般選取范圍在0.01―0.8。如果學習率過大，可能會導致系統不穩定。如果學習率過小，會使得學習時間變長，收斂也會變慢。

3.3 BP神經網絡應用過程

BP神經網絡應用過程如圖2所示。

3.4 BP網絡三個層的神經元數目的確定

目前還沒有什么成熟的定理能確定各層神經元的神經元個數和含有幾層網絡，大量經驗表明，三層的網絡可以逼近任意一個非線性網絡。

首先，使用已知的樣本對BP網絡進行訓練。對于輸入層的結點，其數目是之前車牌圖像預處理后輸出特征的維數。

對于隱含層的結點數目，一般情況下，隱含層神經元數目和BP網絡精確度成正比，數目越多，神經網絡的訓練時間也會越長。但是，當隱含層神經元數目過大時，識別的準確率就會受到影響，同時也會使得網絡的抗噪聲能力下降[4]。綜合考慮上述情況，根據以往經驗，使用10個隱含層的神經元。

對于輸出層結點數目，受輸入層結點數的約束。本文中，我們采用8421碼對數字0―9，字母A―Z，省名簡稱“京津滬冀魯豫鄂蘇皖晉湘桂閩川浙甘寧陜吉遼臺”依次進行編碼。例如，對于輸出“1”，表示為（0，0，0，0，0，1），對于輸出“A”，表示為（0，0，1，0，1，0），對于輸出“京”，表示為（1，0，0，1，0，0）。因此，采用6個輸出層神經元。

然而，實驗中發現，當使用上述結構的標準輸出向量時，會出現BP神經網絡無法收斂的問題。原因在于BP網絡學習中采用的激活函數的輸出只可能無限接近1或0，但不會是1或0。針對這個問題，對標準輸出向量的編碼方式進行如下調整：用0.1代替0，用0.9代替1。即對于輸出“0”，表示為（0.1，0.1，0.1，0.1，0.1，0.1），對于輸出“1”，表示為（0.1，0.1，0.1，0.1，0.1，0.9），對于輸出“A”，表示為（0.1，0.1，0.9，0.1，0.9，0.1），對于輸出“京”，表示為（0.9，0.1，0.1，0.9，0.1，0.1），以此類推。

3.5 BP神經網絡識別字符的流程

使用BP神經網絡進行字符識別，實際上可看作是訓練和識別兩個過程。其中，訓練就是提取訓練樣本的特征向量。第一步，將挑選好的圖像形式的已知數據作為訓練樣本，這些已知數據能夠很好的反應樣本的可分性。第二步，在訓練樣本圖像經過進行特征提取操作后送入BP網絡中進行訓練。訓練之前，要提前輸入一系列訓練參數。

經過BP網絡的訓練后，就可以用其對待識別數據進行識別。待識別數據在經過灰度化、二值化、歸一化、分割等預處理操作后，再經過特征向量提取，最后在BP網絡中進行識別，得出識別結果。

3.6 實驗結果

實驗中采用了在不同環境下拍攝到的100張車牌圖像，這些牌照的清晰程度、區域大小都不相同，按照前文所述BP神經網絡算法進行模擬實驗。根據表1所示識別結果，由于個別字母與數字之間有相似之處，導致其識別率相對較低，分別為95.9%、96.2%。而車牌中漢子字符數量很少，且特征相對比較明顯，使得其識別率相對較高，實驗結果為98.0%。

4 結論（Conclusion）

基于BP神經網絡的車牌字符識別方法，對于比較清晰的車牌圖像，本方法能有效識別其中的字符，但對于較低解析度和較為模糊的車牌還需要進行很多預處理的工作，因為必須將車牌中的字符獨立地被分割后，才能用該方法進行識別。而事實上，在那些圖像不夠清晰的車牌上分割出獨立的字符也是特別困難的。雖然，BP神經網絡在識別效果上提高的余地較大，具有較強的容錯能力，還可進一步訓練學習，識別率較高，但其識別速度較慢，不能滿足實時性的要求。

參考文獻（References）

[1] 郭榮燕，胡雪惠.BP神經網絡在車牌字符識別中的應用[J].計

算機仿真，2010（9）：299-301；350.

[2] 劉靜.幾種車牌字符識別算法的比較[J].電腦與電信，2008（8）：

72-73；78.

[3] 石云.BP神經網絡的Matlab實現[J].湘南學院學報，2010（5）：86-

88；111.

[4] 尹念東.BP神經網絡的應用設計[J].信息技術，2003（6）：18-20.

作者簡介：

篇7

關鍵詞：自主角色; 神經網絡; 遺傳算法

中圖分類號： TP183

文獻標識碼：A

0引言

隨著計算機圖形學和硬件技術的高速發展，計算機游戲近十幾年也取得了很大的發展，游戲軟件已成為軟件產業中非常重要的內容。游戲的類型主要包括FPS（第一人稱射擊）、RPG（角色扮演類型）和RTS（即時戰略游戲）等幾種類型，這些不同類型的游戲都要求游戲控制的角色（NPC）與玩家控制的角色（PLAYER）要有行為的交互，交互的方式直接影響玩家對游戲的興趣度。因此，對NPC與PLAYER之間的角色交互行為方式的研究已經成為游戲軟件中的一個非常重要的研究課題。

目前大多數游戲中的角色行為的交互方式采用的是確定型的交互行為，其特征主要表現在角色的行為都是預先確定的，這種類型的行為實現起來較為簡單，也是目前大多數游戲所采用的交互方式。像這種確定性的行為往往體現不出角色的自主性，而且還會導致角色行動單調乏味，其行動很容易被玩家所預測,降低游戲的可玩性。為此,我們需要在游戲軟件中設計和實現這樣的NPC角色，它能夠根據當前環境的變化以及以往的經驗知識來動態地改變對PLAYER的行為。具有這種能力的角色，我們稱之為自主角色,也稱為自適應角色。具有自主和自適應特點的角色可具有推理能力和自適應能力,在游戲環境下可更受玩家的歡迎。

一款擁有自主角色的游戲能夠牢牢地吸引玩家的注意力，從而延長這款游戲的生命周期，因此促使游戲開發人員花更多的時間來研究自主角色的實現。一些公司已經開始嘗試從人工智能領域發展出更加高級的技術，如采用決策樹或者強化學習來實現角色的自主性，也有的像著名的游戲Colin McRae Rally2則采用了學習系統和神經網絡來實現角色的自主性。

有關自主角色行為的論文已經有很多做出了卓有成效的成績，如在Reynolds的文獻［1］中，對自主角色的群體行為進行了描述。Blumberg和Galyean［2］中引入更多的行為控制機制，并考慮了行為學習這樣一個令人感興趣的問題。對于自主角色的更高層次的認知能力方面，John David Fungc［3］中指出，認知模型是用于創建虛擬世界的模型“金字塔”的頂層，底層的行為模型作為認知模型和物理學模型之間的緩沖區，并將情景演算(situation calculus)［4］用于高度動態的虛擬世界。

但是，上述各種方法因為側重點不同，各有優缺點，且相互之間較為獨立，因此本文結合上述一些方法的優點，在此基礎上提出了基于認知角色建模，采用神經網絡和遺傳算法相結合的游戲自主角色的設計思路。基于此，各小節安排如下：

第一節確定了基于認知建模方法的游戲自主角色模型；第二節介紹了神經網絡在實現自主角色中的應用；第三節說明了遺傳算法對神經網絡的優化；第四節對自主角色的實驗進行了分析。

1基于認知建模的角色自主性模型

由于認知建模方法能夠采用精確的數學方式來定義自主角色的行為和學習模式，因此本文采用認知建模方法來對游戲角色的自主性進行建模。這里將游戲中存在的非玩家控制的角色簡稱為NPC,通過認知建模方法研究NPC的高級行為規劃，指導NPC,提高NPC的智能水平能力，使NPC能夠對環境作出判斷，并根據當前的狀態進行推理，進而完成相應的行動序列,有利于創建聰明自主的智能體――具有認知能力的自主的角色。

在計算機游戲中，我們將游戲角色關于他所在世界的內部模型稱“認知模型”(Cognitive Model)。認知模型可以用于游戲中，控制一類自主的角色。通過認知模型支配游戲角色對其所在環境的了解程度，如何獲取知識，以及如何利用知識選擇行動。

NPC的行為分為“預定義的”和“非確定性的”兩種，建立的認知模型也各不相同。建立預定義行為的認知模型比較簡單，只要將事先定義好的NPC所在環境的領域知識賦予NPC系統，NPC就可以根據人們的要求采取某種行動。而非確定性的行為不容易控制。為了實現人為的控制，我們采取一種折中的方法，即將領域知識和人的指導賦予NPC，使NPC主動地向人們希望它達到的目標發展。可由下面的公式表示:

知識+指導=行為

領域知識能夠用來規劃目標，而指導對如何達到目標提供一種框架計劃。

當然NPC在決定采取什么樣的行動時并不需要整個虛擬世界的知識。所以，我們認為NPC的認知模型是角色對其虛擬世界的一種內部簡化模型〔simplified model〕。

為此我們在現有游戲系統之上營造一個通過認知模型定義的高級行為規劃器來實現對NPC的行為指導。規劃器模型設計如圖1所示。

NPC的預定義行為和非確定行為都可以形式化為認知模型，通過認知模型來指導NPC高級行為規劃器，由于神經網絡在非確定中的強大的學習作用，因此本項目通過神經網絡來實現NPC高級行為規劃器的三個方面：目標引導、行為協調、約束滿足。

2基于人工神經網絡的角色自主系統

這里,我們采用的是神經網絡中的BP網絡作為NPC的感知系統。BP算法是一種用于多層前向網絡的學習算法，它包括輸入層、輸出層和隱含層，隱含層可以是多層結構。BP網絡的學習過程包括兩個階段:第一階段計算前向輸出;第二階段從反向調整連接權矩陣。

在前向傳播過程中，輸入信息從輸入層經隱含層逐層處理，并傳向輸出層，每一層神經元的輸出作為上層神經元的輸入.如果在輸出層，實際輸出值與期望輸出值有誤差時，則以反向將誤差信號逐層修改連接權系數并且反復迭代，最后使實際輸出值與期望值的均方差為最小。在修正連接權系數時，通常采用梯度下降算法。

BP神經網絡使用的是指導式的學習方法,即在學習過程中,向網絡提供有明確輸入和輸出目標的樣本對。BP學習算法是基于最小二乘法LMS 算法,運用梯度下降方法,使網絡的實際輸出與期望輸出的均方差最小。網絡的學習過程是一種誤差邊向后傳播邊修正連接權的過程。因為BP網絡對以分類為主要目的的學習非常有效,所以,我們采用B P網絡進行NPC分類的自學習。需要輸入NPC自主系統中BP網絡的特征參數主要是NPC的生命值,NPC的攻擊力，NPC的防御力，NPC的情感值等，玩家虛擬角色的生命值,玩家虛擬角色的攻擊力，玩家虛擬角色的防御力，玩家虛擬角色的情感值等。

NPC在虛擬游戲環境下，在與玩家的不斷交互中刺激著感知系統，在外界環境發生變化時產生認知模型指導下的自主行為，通過神經網絡最終演化成具有自主性的行為系統，同時，利用遺傳算法使適應度有一定程度的增加，使NPC更適應外界環境的變化。關于NPC的感知系統的設置如下：

1） 輸入參數的確定

NPC的感知系統由人工神經網絡構成，虛擬游戲環境的特征參數作為輸入送入神經網絡進行學習。在我們的游戲項目中，輸入主要包括三種類型：布爾類型、枚舉類型和連續類型三種，但是這三種類型都需要轉化成神經網絡所認可的實數類型。

2） 權重的確定

權重有些類似于生物神經網絡的樹突聯結，權重影響了輸出變量的值，并且定義了神經網絡的行為，實際上訓練或者演化神經網絡的主要目標就是確定NPC神經網絡的權重。為了確定每個輸入參數的權重，需要確定激活函數。

3） 激活函數的確定

激活函數確定了輸入與輸出參數之間的映射關系，針對NPC自主角色的神經網絡，我們采用的是非線性激活函數，具體采用的是S型激活函數。

3基于遺傳算法的神經網絡優化

神經網絡的基本特征是大規模并行處理、容錯性、自適應性和自組織性，適合處理直覺和形象思維信息。神經網絡與遺傳算法的結合使神經網絡的訓練有了一個嶄新的面貌，目標函數既不要求連續，也不要求可微，僅要求該問題可計算，而且它的搜索始終遍及整個解空間，因此容易得到全局最優解。用遺傳算法優化神經網絡，可以使得神經網絡具有自進化、自適應能力，從而構造出進化的神經網絡(ENN)［5］。

研究NPC的進化,要建立NPC在虛擬環境中進行的各種行為模型。另外,同虛擬環境本身也會發生競爭。由于適應度是NPC競爭力大小的直接反映,為了建立NPC的競爭機制,首先要建立NPC的適應度函數。

首先,NPC的適應度函數和NPC的種類相關。在同一環境下,不同NPC的適應度肯定是不相同的［6］。同時,為了表現NPC自學習對進化的影響,有了學習能力的同種NPC適應度的取值也有所不同。其次,NPC的適應度還與其所處的不同階段有關。適應度取值在其不同階段中不是一成不變的。

在環境不發生變化時,NPC的適應度函數F(t)可以用此函數表示:

其中,參數a表示NPC的生命力值;參數k表示NPC的類型,不同的NPC對同一游戲環境的適應性是不一樣的,當k取不同的值時,會得到適應度不同的各種NPC。接著按照以下工作步驟操作：

1） 從NPC神經網絡中提取權重向量；

2） 用遺傳算法演化出一個新的網絡權重群體；

3） 把新的權重插入到NPC神經網絡；

4） 轉到第一步進行重復，直至獲得理想的性能。

4試驗分析

我們的實驗測試場景如下：

在一個仿真的三維游戲環境下,游弋著若干個NPC角色和一個玩家控制的虛擬角色,主角可以漫游整個游戲場景,這些NPC當遇到主角后,可能會對主角采取不同的行為,比如攻擊行為,逃避行為,團隊作戰行為,對話行為等,所有這些行為的決策都取自于神經網絡的訓練。

在采用神經網絡算法之前，所有的NPC無論強弱，都會主動向玩家角色發起攻擊，而在采用神經網絡算法之后，這些NPC都具有了一個人工大腦，每個NPC在與玩家角色的交互過程不斷地學習，不斷地演化，最終變成自主角色，具體表現在：NPC根據以往與玩家角色交互過程中的經驗，從而產生較為理智的行為，比如當NPC感覺玩家的綜合實力要高于自己時，它可能會采取逃避的行為，而當NPC感覺其綜合實力要高于玩家時，它往往會主動攻擊玩家。

表1和表2列舉了應用神經網絡算法前后的測試數據。

應用神經網絡算法所采取的實驗方案如下：

(1) 對于NPC感知系統的輸入，包括與虛擬玩家角色的距離， 虛擬玩家的攻擊力，防御力，生命力，魔法力，信譽度，NPC自身的攻擊力，防御力，生命力，魔法力，信譽度。并將參數歸一化，使最終的參數范圍位于[-1, 1]之間；

(2) 對于NPC感知系統的輸出，包括躲避，單獨攻擊，潛伏，召喚同伴，團隊攻擊等行為。即將神經元的輸出元設計成五個，這些行為通過一些標志符來確定，例如， 如果代表攻擊的輸出位為1，則其他位為零。

通過對比兩組測試試驗,可以發現后一組試驗中,NPC能夠根據自己的實力和玩家的實力對比，理智的采取一些行為（比如退避，呼喚同伴協同作戰）而不是一味盲目攻擊， NPC的存活率顯然就很高，因此也顯得較為智能。

篇8

關鍵詞：遺傳算法 神經網絡 瓦斯突出 預測

中圖分類號：TD712 文獻標識碼：A 文章編號：1672-3791（2017）01（a）-0000-00

預測煤層中的瓦斯含量是進行煤與瓦斯突出風險研究的重要一環，由于影響瓦斯含量的地質因素復雜多樣，以及各因素間存在著復雜的非線性關系，迄今為止，對瓦斯突出的預測主要使用回歸分析方法，預測的結果往往跟實際的情況差別較大，因此需要使用新的方法建立預測模型來實現對瓦斯突出高精度的預測。

1 利用遺傳算法改進的神經網絡建立瓦斯突出預測模型

（1）網絡輸入參數的確定：經查閱相關文獻和咨詢得知瓦斯突出的主要影響因素有：煤層底板標高、煤層到斷層距離、煤層到最近剝蝕面距離、頂板砂巖比、統計單元中有無斷層、基巖厚度、煤厚。

（2）網絡輸出參數的確定：選擇二進制數0和1分別表征瓦斯不突出和突出。

（3）網絡的構造： 一般地可以用一個三層神經網絡實現預測功能，此神經網絡的輸入層有n個神經元，根據經驗公式選取隱含層有（2n+1）個神經元，輸出層有m個神經元，因此本模型中的神經網絡可以采用3層神經網絡。

（4）網絡的訓練：訓練樣本取自唐山開灤多個礦井具有代表性的10個突出點，利用突出點的數據訓練神經網絡，得到預測模型。

（5）網絡的精確度驗證： 利用已完成的人工神經網絡對實際問題進行試驗研究。把在開灤礦井采取的11～20組數據的瓦斯突出指標輸入已經訓練的網絡中，驗證人工神經網絡的預測結果與實際突出情況的吻合度，如果吻合度低，就需要對網絡進行改動，直至達到滿意的吻合度。

（6）利用遺傳算法對神經網絡的權值和閾值進行優化

個體的編碼：將神經網絡各層之間可能存在的連接權值和閾值編碼成實數碼串或者進行二進制碼串，每條碼串中包含著網絡中的所有權值、閾值其排列順序可以隨意定義，不受限制，組成一個染色體。

產生初始種群：隨機生成一定數量的碼串個體作為一個初始種群。

計算適應度：設網絡有K個訓練樣本，讓所有的訓練樣本依次通過解碼后生成的神經網絡，計算所有訓練樣本一次通過的平均總誤差作為每條染色體的適應度， 其中， 為瓦斯含量的實測值， 為網絡的輸出值。

④將網絡的所有連接權值和閾值進行實數編碼，構成一個染色體，每條染色體代表一個神經網絡模型的權值和閾值。設定初始種群規模為20，進化代數為220，交叉概率0.2 ，變異概率為0.1，為了防止遺傳算法的早熟現象，變異概率先定義為0.1，然后在逐漸遞增。算法運行到158代時獲得最佳的連接權值，網絡平均總誤差為0.001。

2 實例分析及算例求解

選取唐山開灤煤礦為例，對該地進行瓦斯含量預測研究。對影響瓦斯含量的主要因素進行分析，歸納確定了神經網絡的輸入層神經元個數為7，對應為7個輸入變量即7個影響瓦斯含量的因素。其中對輸入變量中的頂板砂巖比、統計單元中有無斷層、頂板基巖厚度、煤層厚度四個影響因素采用二變量比值法將其定量化。處理方法的劃分條件如表1所示，輸出層神經元個數是1。在開灤集團獲得的相關數據如表2所示，其中1～10作為網絡訓練樣本，11～20作為網絡檢驗樣本，用來檢驗模型的預測精度。

利用前10組數分別訓練自適應的BP神經網絡和與遺傳算法結合改進的網絡得到瓦斯突出預測模型，如圖1和2所示。然后利用11～20組的樣本對網絡性能進行檢驗，并將檢驗結果和實測值的數據進行對比，對比后的結果如表3所示。 由圖1、2可知用遺傳算法改進的神經網絡收斂速度更快，由表3可知用遺傳算法改進后的神經網絡預測的值跟實際的值更加的逼近即預測精度高。

3 結論

本文采用遺傳算法與神經網絡相結合的方法，通過優化神經網絡的權值和閾值，使得預測的絕對誤差從-0.0119～0.2000縮小到-0.0013～0.0611，提高了預測的精度，加快了收斂速度。對煤礦安全發展具有一定的意義。

參考文獻

[1]曾文飛，張英杰，顏玲.遺傳算法的基本原理及其應用研究[J]，軟件導刊，2009

[2]梁芳.遺傳算法的改進及其應用[D].武漢理工大學，2008.

[3]彭海雁.影響煤與瓦斯突出的主控因素研究[D].東北大學，2013.

篇9

【關鍵詞】人工神經網絡 BP算法 故障診斷 發動機

近年來，汽車越來越多地出現在普通百姓家庭。發動機系統是汽車的心臟，大部分零件處于高溫、高壓的工作環境且處在高速運動當中，設備復雜、參數多，其故障的發生率高，診斷起來困難繁瑣，本文針對這一問題，在掌握發動機運行流程后，引入了BP神經網絡故障診斷方法，并適當改進，測試結果表明，該方法可靠有效實用。

3 自適應BP網絡實例應用

3.1 網絡輸入輸出向量及參數的選取

由汽車維修專家提供典型發動機系統故障現象及相應的故障原因實例作為訓練樣本。以故障類型X=（x1，x2，x3，x4）作為輸入，故障原因R=（r1，r2，…，r12）作為輸出，建立故障模式與故障原因之間的映射關系。如表1所示。

3.2 網絡的創建、訓練與檢驗

按照樣本的模式對，確定輸入層節點個數為4，輸出層節點個數為12。輸出節點值的大小反映了故障出現的可能程度。而隱含層節點的個數可參照經驗公式選取：其中為輸出節點數，n為輸入節點數，為1至10的常數。

將故障類型及原因分析表中的文字描述進行轉換并編碼，就得到樣本訓練表，如表2所示。

選取網絡的初始學習率=1，動量因子=0.01，初始學習率調整因子β=1，訓練過程中根據誤差變化實時調整學習率，取β=0.9（誤差變大時），β=1.1（誤差變小時）。

采用Matlab軟件編寫程序對樣本進行訓練。

3.3 誤差分析與判定

利用同一組樣本對改進的BP算法和傳統BP算法分別進行測試，并對照研究，進行誤差分析。表3為階段性均方誤差所需要的訓練次數對比，圖1為增加動量項的BP算法對網絡訓練誤差的影響，圖2為采用自適應學習率BP算法對網絡訓練誤差的影響，可以直觀地看出，兩種方法都可以極大地加快網絡的訓練過程，將兩種方法結合到一起，則效果更好，如圖3所示。

需要注意的是，建議學習率調整率不能取值太大，使步長平穩，同時設定學習率的最大值，超過后就不再調整，防止出現過調。

4 結論

本文把基于BP神經網絡的故障診斷技術引入汽車發動機故障診斷系統，通過增加動量項和自適應調節學習率兩種方法來對基本的BP網絡學習算法進行改進，可以極大地加快BP 神經網絡收斂過程，提高學習速度。通過分析，人工神經網絡能夠在發動機系統的監測及診斷中發揮較大的作用，并且在設計診斷工具和改進診斷方式中有一定的借鑒功能。

參考文獻

[1]韓力群.人工神經網絡理論、設計及應用[M].北京：化學工業出版社，2002.

[2]黃勇，郭曉平.基于改進BP神經網絡的柴油機故障診斷研究[J].汽車科技，2009（03）.

[3]張冉，趙成龍.改進BP網絡在汽輪發電機組故障診斷中的應用[J].計算機仿真，2011（07）.

[4]張延林，佟德軍.BP神經網絡的汽車故障診斷研究[J].自動化儀表，2009（04）.

[5]禹建麗，卞帥.基于BP神經網絡的變壓器故障診斷模型[J].系統仿真學報，2014（06）.

[6]姜蕊.基于改進BP神經網絡的速度預測模型[J].交通工程，2013（04）.

[7]陳懷琛，吳大正，高西全.MATLAB及在電子信息課程中的應用[M].北京：電子工業出版社，2006（03）.

篇10

關鍵詞：矸石和粉煤灰配合比； BP神經網絡；遺傳算法；最優配比

河北金牛能源股份有限公司邢臺礦綜采面充填采煤技術，自應用以來取得了非常好的經濟效益和社會效益，在7606工作面進行了系統的試驗和研究，在試驗過程中發現矸石與粉煤灰作為充填開采的骨料，其物理力學基本特性對充填開采運輸系統及充填工藝的設計至關重要，因此合理的最優的矸石和粉煤灰的配比是控制開采巖層移動和地表沉降的關鍵所在，本文結合計算智能領域的遺傳算法和神經網絡方法，利用遺傳算法的非線性尋優能力和神經網絡的非線性擬合能力，來尋找最優方案。[1]，[2]

1 矸石與粉煤灰的物理化學特性

1.1 矸石的物理化學特性

1.1.1礦物成分測試

本測試采用的測試儀器為D/Max-3B型X射線衍射儀，由日本理學公（Rigaku）生產。測試條件為：Cu靶，Kα輻射，石墨彎晶單色器。狹縫系統為： DS（發散狹縫）：1°，RS（接收狹縫）：1°，SS（防散射狹縫）：0.15mm，RSM（單色器狹縫）： 0.6°。其中：X射線管電流為30mA，電壓為35kV。在定量分析過程中采用的掃描方式為步進掃描，掃描速度0.25°/min，采樣間隔0.01°。

定量分析所采用的分析標準為：按照中國標準（GB5225--86）的K值法進行定量分析，洗選矸石的組成成分分別見表1-1，X-射線衍射圖譜分別如圖1-1所示。

在定性分析過程中采用的掃描方式為連續掃描，采樣間隔為0.02°，掃描速度為3°/min。定性分析所采用的分析標準為：利用粉末衍射聯合會國際數據中心（JCPDS--ICDD）提供的各種物質標準粉末衍射資料（PDF），并按照標準分析方法進行對照分析。兩種樣品分析結果表明，洗選矸石主要成分是高嶺石、石英，有部分伊蒙混層、伊利石、非晶物質和少量的其它礦物，其中的部分非晶物質，分析認為可能是煤或其它物質；粉煤灰主要成分是非晶物質，含有略多的石英，有部分莫來石、伊利石和少量的方解石、CaSO4、長石等礦物。樣品中的非晶態物質無法確定，分析認為可能含有部分煤等非晶物質，也可能是粘土中溫加熱產生的非晶物質。

1.1.2化學成分測試

洗選矸石與粉煤灰的礦物組成直接影響煤矸石的工程性質。洗選矸石的化學成分與化學元素分別見表1-2、表1-3。

由表1-2、表1-3知，洗選矸石試樣的物質組成中，SiO2的含量較高，是矸石充填開采時骨架的主要成分，可使充填后的矸石強度較高；此外，由于矸石中含有碳、鋁和CaO等物質，易使矸石發生水解和風化等現象。

1.1.3 致密度電鏡掃描分析

通過電鏡掃描SEM（Scanning Electron Microscope）對矸石的致密度進行了分析，得到不同分辨率條件下洗選矸石的SEM圖片，如圖1-2所示，其SEM圖片細觀結構描述見表1-4。

1.1.4 含水量測試

a.試驗設備

本試驗采用JA2003電子精密天平（Electronic Precision Balance）、YZH1-30遠紅外自控焊條烘箱進行測試。

JA2003電子精密天平量程為200g，可讀性為0.001g，重復性≤±0.001g，線性≤±0.002g，秤盤尺寸為Ф=110mm，如圖1-3所示。YZH1-30烘箱能夠自動測量、顯示和控制溫度，具有結構簡單、性能穩定等優點。烘箱內膽及擱板采用耐腐蝕不銹鋼材料和優質鋼板二種，最高工作溫度可達到500℃。

b.試驗結果

從現場取洗選矸石測試試樣，為防止水分的揮發，采用雙層隔離層保存封裝，保持了其自然狀態下的含水量，并對試樣進行了一系列含水量測試。洗選矸石測試6組，分別為x1、x2、x3、x4、x5、x6，其試驗結果見表1-5。

由上述測試可知，自然狀態下洗選矸石的含水量為2.28%。

1.2 粉煤灰的物理化學特性

1.2.1 化學成分測試

同樣采用D/Max-3B型X射線衍射儀作為測試儀器，對粉煤灰試樣進行定量分析。

1.2.2 化學成分測試

洗選矸石與粉煤灰的礦物組成直接影響充填材料的工程性質。粉煤灰化學成分與化學元素分別見表1-6、表1-7。

由表1-6、表1-7知，粉煤灰試樣的物質組成中，SiO2的含量較高，是煤矸石充填開采時骨架的主要成分，使充填后的煤矸石強度較高。

1.2.3 致密度電鏡掃描分析

通過電鏡掃描SEM（Scanning Electron Microscope）對粉煤灰的致密度進行了分析，得到不同分辨率條件下粉煤灰的SEM圖片，如圖1-6所示。圖示細觀結構描述見表1-8。

選取與測試洗選矸石含水量的相同儀器，對六組粉煤灰試樣的含水量進行測試，其試驗結果見表1-9。

由上述測試可知，自然狀態下粉煤灰的含水量為21.17%。

1.3 充填材料性能分析

分析充填材料的化學成分發現，洗選矸石和粉煤灰均以二氧化硅和氧化鋁為主要成分，可以作為充填開采骨料的主要成分，但是粉煤灰的氧化鈣含量相對降低，活性較差，可以相應增加洗選矸石的量來提高整體骨料中氧化鈣的含量，提高骨料的活性性能。通過致密度電鏡掃描分析發現，洗選矸石的結構較致密，粗大孔洞及裂隙基本未見；粉煤灰以多孔玻璃體為主，孔洞連通情況較好，中量碎屑顆粒，可以看出粉煤灰的壓實變形量將會較大，碎屑顆粒會對充填產生一定的影響。在自然狀態下，粉煤灰的含水量較大，這對于充填開采將會產生不利影響，在實際的操作中，可以根據粉煤灰這一物理特性，控制充填膏體制備中水的加入量，改善充填體的性能。

2 矸石與粉煤灰的力學特性試驗

2.1 試驗目的及試驗內容

通過對洗選矸石與粉煤灰不同配比條件下壓實特性的測試，分析各種配比條件下各組試樣的壓實力與變形量的關系，并得出最有利于現場充填的配比條件。

2.2 試驗設備及試驗條件

本試驗采用美國MTS公司的MTS815.02電液伺服巖石力學試驗系統進行測試，如圖2-1所示。充填矸石與粉煤灰的盛樣裝置為自行設計的壓縮鋼筒，該裝置的內徑128 mm，鋼筒深度180 mm，壓縮活塞高度為110 mm，試驗中試樣高度為120 mm。

2.3 壓實試驗方案設計射線

在試驗前將取洗選矸石和粉煤灰作為測試樣品，按照二者不同的配比比例，將試樣共同分為12組，其中1∶0和0∶1分別代表純矸石和純粉煤灰，壓實試驗配比方案見表2-1。

在矸石與粉煤灰直接充填綜采項目現場工業性試驗中，充填材料中的矸石直接來自洗選矸石倉，而實驗室試驗矸石樣品來自于選煤廠排放于矸石山的矸石；充填材料中的粉煤灰直接來自電廠的粉煤灰，而實驗室試驗粉煤灰樣品來自于電廠堆積于地面噴水后（噴水為了防止揚塵）的粉煤灰。因此，實際充填時料的含水量與試驗的含水量是不同的，在實際配比時將會結合換算關系，進行配比換算。

矸石粉煤灰配比混合充填材料設計試驗的壓應力范圍為0～30 MPa，加載速率為0.1 MPa·s-1。每組測試的時間為300 s，數據每1.0 s采集一次。每組不同配比的試驗做三次，以防止試驗過程中出現無效數據等情況，確保試驗數據的真實有效性。

2.4 矸石與粉煤灰壓實特性

壓實度k的定義為充填材料在壓實過程中受外力作用而被壓實的程度。它用壓實后的體積Vys與原松散狀態下的總體積Vs之比來表示。

由圖2-3可知，充填材料的壓實度k隨著壓實力σ的增大而減小，特別在初始階段，由于材料的松散程度較大，因此產生的壓縮量較大，表現為壓實度k變化較快。在試驗曲線中取的當壓力為7 MPa時，不同配比的壓實度。由以上試驗數據，可知不同配比情況下有不同的壓實度，但是無法判斷最優的配合比是否在試驗配比當中，因此有必要采用神經網絡和遺傳算法進行尋優。

3 BP神經網絡和遺傳算法尋優

3.1 BP神經網絡和遺傳算法簡介

人工神經網絡（Artificial Neural Network，簡稱ANN）是模擬人腦學習、處理和記憶方式，在人類對其大腦神經網絡認識理解的基礎上人工構造的能夠實現某種功能的神經網絡。它是理論化的人工神經網絡的數學模型，是基于模仿大腦神經網絡結構和功能而建立的一種信息處理系統。它是一個由大量簡單元件互相連接而成的復雜網絡，具有高度的非線性，能夠進行復雜的邏輯操作和非線性關系實現的系統。BP神經網絡又稱為誤差反向傳播（Back Propagation）神經網絡，是一種多層前饋神經網絡，具有廣泛的適應性和有效性，主要應用于模式識別和分類等方面。[3]

遺傳算法（Genetic Algorithm，簡稱GA）是一種模仿自然界生物進化思想而得出的一種自適應啟發式全局搜索算法，其實質是由復制—交換—變異算子組成的周而復始的循環過程。這種方法由于仿效生物的進化與遺傳，根據“生存競爭”和“優勝劣汰”的原則，借助復制、交換、變異等操作，使要解決的問題一步步逼近最優解或近優解。[4]

在充填配比試驗中，由于條件的限制，我們只能進行有限次的試驗，而且試驗配比是建立在經驗的基礎上，所以得到的試驗結果往往不是最優的配比，但是我們可以認為在一定的配比情況下獲得對應的壓實度值，兩者之間存在一定的非線性映射關系，通過建立神經網絡結構，把配比作為輸入數據，把壓實度值作為輸出數據訓練神經網絡，訓練后的網絡可以預測不同配比情況下的壓實度值。然后把配比值作為遺傳算法中種群個體，把網絡預測的壓實度值作為個體適應度值，通過遺傳算法推導最優試驗結果及其對應的配比。

3.2 模型建立

神經網絡遺傳算法極值尋優主要分為BP神經網絡訓練擬合和遺傳算法極值尋優兩步。神經網絡訓練擬合根據試驗條件和試驗結果的特點構建合適的BP神經網絡，用部分試驗結果的輸入輸出訓練BP神經網絡，訓練后的BP神經網絡就可以預測函數輸出。遺傳算法極值尋優把訓練后的BP神經網絡預測結果作為個體適應度值，通過選擇、交叉和變異操作尋找壓實度的全局最優值及對應輸入配比值。

3.3 BP神經網絡訓練和遺傳算法計算

利用MATLAB神經網絡工具箱進行網絡創建、訓練、仿真和輸出，網絡有2個輸入參數、1個輸出參數，通過試湊隱藏層神經元個數比較輸出結果與期望結果的誤差，如圖2-2所示，發現當隱藏層為2層，第一個隱藏層有8個神經元，第二個隱藏層有2個神經元時，網絡的輸出誤差最低，因此確定BP神經網絡結構為2-8-2-1。取試驗的12組數據訓練網絡，并測試網絡性能，網絡訓練好后用于預測輸出。通過預測輸出圖可以看出預測輸出與期望輸出基本上吻合，但是每次驗證的結果都會不同，因此BP神經網絡的預測精度對于最優位置的尋找具有非常重要的意義，在進行擬合的時候要尋找最優BP網絡結果，然后進行遺傳算法尋優計算。

遺傳算法中個體采用實數編碼，由于試驗配比只有兩個輸入參數，所以個體長度為2，迭代次數是100次，種群規模是20，個體適應度值為BP神經網絡預測值，適應度值越大，個體最優，交叉概率為0.2，變異概率為0.1。經過遺傳算法得到的最優個體適應度值為0.8490，最優個體為[0.9972，0.6521]，此時的配比為1：0.654，這個比值只是某次試驗情況下的結果，不一定是所有試驗最優結果，但是基本接近最優結果，我們可以根據得到的結果優化實際中的矸石和粉煤灰配比，達到最優的狀態。[5]，[6]，[7]

4 結論

1）通過矸石與粉煤灰的物理化學特性實驗，得到了邢臺礦充填材料的化學成分和致密度情況以及含水率，發現二氧化硅和氧化鋁的含量對于充填性能有較大影響，致密結構將有助于提高充填強度，粉煤灰的含水量較高對充填會有不利的影響。

2）利用遺傳算法和人工神經網絡，經過尋優計算得到了矸石和粉煤灰的近似最優配比，配比為1：0.654。

3）現場應用的結果表明，在此配比時上部巖層受采動應力影響，出現了裂隙發育、局部離層、最終到裂隙閉合的發展過程，說明充填體可控制上覆巖層的運動，工作面頂板不會出現大面積的垮落。礦用鐵路沿線最大下沉值為16 mm， 沿南外環公路的觀測線沒有任何下沉。

4）國內同類礦山或采用充填法進行回采的礦山都可以通過計算智能方法，經過優化計算找到最優的充填材料配合比，參數的數量可以根據實驗的條件進行改變，本文的方法有極大的參考價值。

參考文獻

[1] Liu Q G， Zhao Q B. Coal Mining Technology with Fully Mechanized Solid Back filling Under the Building Structures in Xingtai Mine. Coal Science andTechnology， 2010， 38（3）： 1（劉建功，趙慶彪.邢臺礦建筑物下綜合機械化固體充填采煤技術[J].煤炭科學技術，2010，38（3）：1.）

[2] Hao B S， Zhang S G. An experimental study on waste stone-fly ash mixture for stowing after mining.China coal. 2009，35（11）：1（郝寶生，張書國.矸石與粉煤灰混合充填開采的試驗研究[J].中國煤炭，2009，35（11）：1）