神經網絡的正則化方法范文

導語：如何才能寫好一篇神經網絡的正則化方法，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務員之家整理的十篇范文，供你借鑒。

篇1

[關鍵詞]：貝葉斯BP神經網絡 預測流程 預測模型 仿真分析

一、貝葉斯正則化BP神經網絡算法

為了解決在工程中遇到的一些基于BP神經網絡的問題，可通過減少神經網絡的參數數量，降低網絡規模，這樣就不會出現過擬合的現象，這就是正則化（regularization）方法。為保證用此方法設置的參數能夠自適應神經網絡并且能夠優化，通常采用貝葉斯理論，即通過LevenbergMarquardt（LM）算法實現這一目的，這也就是我們熟知的貝葉斯正則化BP神經網絡（Bayesian Regularization BP neural network， BRBPNN ）。

二、基于貝葉斯正則化BP神經網絡的性能預測流程

在利用貝葉斯正則化BP神經網絡算法來實現對離心泵性能預測時?？砂凑請D所示的流程圖進行：

三、構建基于貝葉斯正則化BP神經網絡性能預測模型

在貝葉斯正則化BP神經網絡中，輸入模式對于離心泵性能預測預測結果有比較大影響，選取對離心泵能量性能影響較大的離心泵幾何參數（葉輪出口直徑（ ）、葉片出口寬度（ ）、葉片出口安放角（ ）、渦殼的基圓直徑（ ）、渦殼進口寬度（ ）、蝸殼第八斷面面積（ ）、葉片包角（ ）以及葉片數（ ））和設計流量（ ）作為貝葉斯正則化BP神經網絡的輸入變量。根據輸入模式可以確定輸入層神經元數目為9?？紤]到BF神經網絡的隱含層神經元是徑向基函數，該特性使BF神經網絡的擬合特性為局部性，于是本文將泵的揚程和效率預測設計為2個相類似結構的貝葉斯正則化BP神經網絡預測模型，即離心泵揚程和效率貝葉斯正則化BP神經網絡預測模型，如圖2所示。

四、仿真實驗

為了考察建立的離心泵性能貝葉斯正則化BP神經網絡預測模型的有效性，我們采用從沈陽水泵研究所編撰的《全國優秀水力模型匯編》和江蘇大學關醒凡教授編撰的《現代泵技術手冊》選取57組單級單吸離心泵的設計參數和試驗參數作為訓練樣本數據和目標數據。得到訓練樣本數據和目標數據輸入的離心泵性能貝葉斯正則化BP神經網絡預測模型進行訓練學習曲線如圖3所示：

為了考察建立的離心泵性能的貝葉斯正則化BP神經網絡預測模型的效果，我們從沈陽水泵研究所編撰的《全國優秀水力模型匯編》和江蘇大學關醒凡教授編撰的《現代泵技術手冊》選取6組單級單吸離心泵的設計參數和試驗參數數據作為檢驗樣本，其具體數據如表1所示。

采用表1的數據和利用已經建立的離心泵性能的貝葉斯正則化BP神經網絡預測模型進行預測離心泵的揚程、效率等性能指標，與譚明高、劉厚林、袁壽其等人所做實驗和撰寫的文獻參數進行對比，其結果如表2所示。

分析表2的離心泵性能的2種改進型BP神經網絡預測模型檢驗樣本預測結果發現：BRBP神經網絡預測的揚程 最大相對誤差的絕對值為6.98% 、最小相對誤差的絕對值為0.41%、均方根相對誤差為5.20%； 效率誤差最大相對誤差的絕對值為5.30% 、最小相對誤差的絕對值為1.67%、均方根誤差為2.98% 。LMBP神經網絡預測的揚程 最大相對誤差的絕對值為14.0% 、最小相對誤差的絕對值為0.06%、均方根相對誤差為7.81%；效率誤差 最大相對誤差的絕對值為3.21% 、最小相對誤差的絕對值為0.17%、均方根誤差為1.85%。

通過對上面的結構分析，效率預測精度高一些，揚程預測精度低一些，我們可以推斷，這可能與離心泵的影響因素有關。BRBP神經網絡預測離心泵揚程精度最高，LMBP神經網絡預測離心泵效率精度最高。

需指出的是，雖然貝葉斯正則化BP神經網絡預測離心泵效率精度比LMBP神經網絡差一些，但在預測離心泵揚程方面BRBP神經網絡預測模型比LMBP神經網絡預測模型明顯精度更好一些。這是因為貝葉斯正則化BP神經網絡靠貝葉斯統計理論進行確定和訓練，由程序自動確定，相對而言更穩定。

五、總結

本章采用貝葉斯正則化BP神經網絡算法，建立了離心泵性能預測模型，最后在沈陽水泵研究所編撰的《全國優秀水力模型匯編》和江蘇大學關醒凡教授編撰的《現代泵技術手冊》選取57組單級單吸離心泵的設計參數和試驗參數進行建模和驗證，結果表明離心泵性能貝葉斯正則化BP神經網絡預測模型與原有的離心泵性能LMBP神經網絡預測模型一樣有效，并且設置參數更簡單、更方便，是一種比較有前途的離心泵性能預測方法。

參考文獻：

[1]關醒凡.現代泵技術手冊[M].宇航出版社，1995.

篇2

【關鍵詞】短期負荷預測；參數優化；量子差分進化；最小二乘支持向量機

引言

“十三五”規劃期間，隨著電力市場化改革的進一步深化與智能電網的大規模試點，精度較高的負荷預測對保障智能電網的安全穩定運行與電能資源的優化配置至關重要。故不斷改進負荷預測方法，提高預測的精度，對于制定經濟優化的發電計劃、降低旋轉儲備容量、進行電力市場需求分析等方面均有十分重要的意義。

目前，用于負荷預測的方法大體可以分為經典的數學統計方法和基于人工智能的方法，其中，大多數負荷預測理論都基于時間序列分析，包括自回歸模型（VAR）[1]，自回歸滑動平均模型（ARMA）模型[2]等，時間序列平滑預測法的模型識別與參數估計都是根據有限序列去推斷原序列式的性質來完成，這種推斷誤差較大，不能滿足短期負荷預測精度需要。隨著世界各國電力市場的發展，負荷預測受到了更加廣泛的重視，神經網絡預測技術[3]，混沌預測技術[4]以及粒子群優化[5]，LSSVM[6]等自學能力較強的預測方法都在負荷預測中應用廣泛。負荷預測是ANN在電力系統應用中最合適的領域，但由于神經網絡模型輸入的原始數據必須以精準為前提，而實際預測時，因統計存在差異，使得數據同實際值有一定差別，導致預測精度不理想。并且針對不同地區的特點，應根據其負荷變化的規律及氣象變化規律選取不同的特征參數，不同的ANN模型與結構，這就增加了推廣的難度。

與神經網絡算法采用經驗風險最小化原則不同，支持向量機（SVM）采用的是結構風險最小化原則，將求解過程轉化為凸二次規劃問題。這就很好地克服了神經網絡的一些不足，且在負荷預測的實際應用中取得了很好地性能表現。但是正則化參數與核參數的選擇極大影響著LSSVM的性能。量子差分進化算法有效的克服了群智能算法中比較普遍的早熟現象，提高了全局的搜索能力。本文通過量子差分進化算法優化最小二乘支持向量機模型的正則化參數與核函數參數，實現參數的自動調整。

一、基于量子差分進化的LSSVM建模過程

在基于量子差分進化的LSSVM建模中，LSSVM輸出值為帶有和的因變量，而正則參數與核函數由量子差分進化算法進行優化選取，優化的目標函數為輸出值與實際值的誤差平方和。

優化目標函數定義為：

其中，yi為第個已知樣本的輸入值，yi'為第個樣本對應的模型預測輸出值，為樣本總體個數。

則基于QDE的LSSVM模型參數的組合尋優步驟如下：

1）參數初始化

QDE算法的主要參數為種群規模N，染色體長度D，變異因子F，交叉因子C和最大世代數g，其中，g初始化為0。

2）種群初始化

產生一個N*D規模均勻分布的隨機數矩陣，按照以下方式：

其中，i=1，2，……，N，j=1，2，……，D，與分別表示第j列的上界和下界。

3） 量子編碼

對初始種群進行量子編碼

4） 變異操作

變異操作使用兩個隨機向量，按照公產生變異向量

5）交叉操作

交叉操作可以增加種群多樣性

6）選擇操作

選擇操作保證更優的后代生存到下一個世代，選擇操作的原則是按照最優適應度進行。

綜上，基于QDE改進的LSSVM算法流程圖如圖1所示。

二、算例分析

本文選取山西陽泉2013-5-01至2013-5-31全天24個小時的歷史預測數據，影響因素包括：日分類，0表示樣本日為工作日（周一―周五），0.8表示一般休息日（周六、周天），1表示節假日（法定節假日與民間節日）；日溫度（日最高溫度，日最低溫度）；日降水量。選取2013-5-01至2013-5-30的720個數據作為訓練樣本，2013-5-31作為測試樣本。同時，為了反映不同的負荷情況，31號得到了24個小時的測試結果。

為了準確評估預測模型，采用平均絕對百分比誤差與最大相對誤差來衡量模型預測結果的可行性。

其中，與分別為測試樣本的輸出值與實際數值。

設定種群規模，變異概率Pm=0.05，交叉因子Cr=0.5，收縮因子且隨機生成種群數。根據圖1所示流程，對2013-5-31進行24點負荷預測。

從圖2中可以看到，短期負荷量與時間成非線性相關。因此，將LSSVM預測及BPNN的預測結果作為對比。LSSVM的預測步驟與QDE_LSSVM的預測步驟相似，未經過QDE優化的LSSVM的參數為（？酌，？滓2）=（0.4641.725），BPNN網絡的網絡結構為2-5-1， BPNN網絡的迭代次數設定為1000，學習率為0.5，目標為0.00004。

圖2給出了QDE_LSSVM，LSSVM與BPNN的短期負荷預測結果。其中BPNN的預測值波動性較大，不能滿足短期負荷預測要求的穩定性原則。而經過改進的LSSVM模型更加接近原始曲線，能夠滿足實際電力系統負荷預測的要求。

表1給出了三種預測方法的平均相對誤差與最大相對誤差，其中QDE_LSSVM的平均相對誤差最低，為1.06%，比BPNN低0.74%。這表明，與BPNN相比，QDE_LSSVM的小樣本集合回歸問題上具有顯著優勢。原因是LSSVM滿足結構風險最小化原則，具有較強的推廣能力，可以避免ANN法對訓練樣本數量和質量要求的較高不足。QDE-LSSVM的平均相對誤差比LSSVM低0.55%，這表明QDE-LSSVM的預測效率要優于LSSVM。

結論

考慮電力負荷的歷史數據，日期類型以及氣象因素，本文利用QDE_LSSVM法進行短期負荷預測。從實驗效果來看，可以得到以下結論：

1）根據確定LSSVM參數存在的問題，引入QDE對參數進行優化。實驗結果表明提出的方法能夠自動提取識別率高且收斂速度較快的參數。

2）提出了應用QDE-LSSVM法進行短期負荷預測。實驗結果表明，與BPNN和LSSVM法相比，QDE-LSSVM算法能夠實現較高的預測精度，驗證了所構建模型的正確性和有效性。作為一種啟發式混合算法，本文所提出的方法能夠為智能電網制定科學合理的發電計劃提供一定的依據。

參考文獻：

[1]萬昆，柳瑞禹.區間時間序列向量自回歸模型在短期電力負荷預測中的應用[J].電網技術，2012，11：77-81.

[2]黃元生，鄧佳佳，苑珍珍.基于ARMA誤差修正和自適應粒子群優化的SVM短期負荷預測[J].電力系統保護與控制，2011，14：26-32.

篇3

關鍵詞 深度神經網絡 圖像分類 車型識別 預測

中圖分類號：TP317.4 文獻標識碼：A

0 引言

所謂的深度學習是根據具有多層結構的人工神經網絡所提出。在具體的深度學習中，主要借助模擬神經系統中的層次結構，來進行數據結構特征的反映，一般來說，細節用低層次進行表示，抽象數據結構則用高層次來表示，利用這種方式，能夠進行數據挖掘學習，滿足學習要求。在傳統的車型識別發展中，主要涉及到的技術包括模式識別、特征選擇和提取以及檢測分割等方面內容，在技術發展中，存在的難點主要涉及到如何將完整的目標車輛區域進行分割，這是項基礎工作，也是難點所在。這結合實際需求，對于不同拍攝角度下的汽車圖片，包括皮卡車、SUV、面包車以及小轎車進行車型識別，其目標質量分割質量則是最為關鍵的技術，直接影響到最后的判斷效果。所以，應該重視進行具有代表性特征的選擇處理，并相應轉化成有效的參數過程。在獲取特征參數后，則應該結合項目要求來選擇合理的分類器，這樣才能保障識別的準確率。結合汽車車型識別問題的要求，這里網絡輸入則是原始圖像，利用神經網絡優勢，原始數據經過卷積層、完全連接層以及Softmax 層的培訓學習，通過這種深度神經網絡來進行分析處理，免于上述存在難度的圖像分割、手工提取等過程。

1數據集

這里的車型識別目標的數據集主要包括皮卡車、SUV、面包車以及小轎車等四種類型。其中，訓練集和測試集分別包括1025張和368張原始圖片。此數據集中，包括不同攝像角度中的汽車圖像照片，具有背景復雜、圖像大小不統一，車輛在圖片中所占比例具有較大差異性等方面問題，這些都在一定程度上造成車型識別的難度上升。

在預處理中，為了保證網絡輸入的一致性，對于原始圖像進行調整處理為256？56？尺寸。在此基礎上，對于圖像RGB三個通道的均值進行計算，并進行均值標準化的處理。在具體的網絡訓練測試的過程中，主要則是選取224？24？ 的樣本作為輸入。

2網絡結構探討

結合文獻所提出的深度神經網絡VGG16的優勢，我們將其應用在汽車車型識別問題中。VGG16網絡具有較強的優勢，主要包括5個堆棧式的卷積神經網絡ConvNet，以及3個完全連接層以及1個Softmax層，由此可見，其屬于“網絡中的網絡”架構。在每個每個ConvNet中，還有多個卷積層所構成，然后緊跟隨著Max-Pooling層。在進行卷積以及池化處理的基礎上，進行三層完全連接處理，同時，Softmax層的輸入則是最后一個完全連接曾的輸出，在這基礎上，實現車型分類的要求。結合實際需求，將非線性的ReLU層加入該網絡中，這樣就會讓ReLU來處理卷積層和完全連接層的輸出，保證訓練時間有效降低。另外，還將一種正則化Dropout方式應用在網絡中，避免出現完全連接層中的過擬合問題。

另一個神經網絡Alexnet，結構稍微簡單一些，主要包括5卷積層、3個完全連接層、Softmax層等幾部分，在進行部分卷積層處理后，在進行Max- Pooling層處理。在此網絡中，同樣采用非線性的ReLU層，所采用難度重疊池化方式，也能有效保證盡量降低過擬合的問題。

3實驗結果分析

結合上述分析的深度神經網絡VGG16和AlexNet的基礎上，進行Gaffe框架的搭設，為了保證運算效率，建立在GeForce GTX TITAN X CPU的工作站中。經過統計，單一網路訓練大約為2小時，一張圖片測試大約為0.2秒。在應用上述網絡測試、訓練之外，在分類過程中，還應用了經典的分類算法KNN。經過實驗分析，可以看出，VGG16網絡能夠具有比較好的分類結果，能夠實現準確率為97.3%，而AlexNet網絡準確率達到為93.0%，KNN算法不能有效處理較為復雜背景的圖片，分類準確率僅為52.3%。在具體的案例中，分析VGG16網絡錯誤分類的情況，面包車具有完全正確的分類效果。在錯誤分類的SUV車型中，究其原因，主要包括：車顏色有兩部分組成，紅色部分則和皮卡車車型相同；車型結構太類似于皮卡車；背景中加入其他車型，這樣會造成分類結果不準確。如果圖片中僅僅包括車頭的情況，在進行車型識別中也存在較大的難度，不同車型從前面角度進行觀察，并沒有太大的差異化，這點應該明確指出。

4結語

這里采用深度學習方法，結合先進的深度神經網絡，以及功能強大的計算機工作站，對于四類汽車進行識別實驗研究。經過試驗表明，VGG16網絡具有最好的分類效果，傳統的經典分類算法往往僅為其準確率的一半左右。所以，可以看出深度神經網絡具有強大的學習能力，能夠在圖像分類問題中表現出很大優勢，應該不斷優化深度神經網絡的結構，以便其適用于更多的圖像分類要求。

參考文獻

[1] Hinton G E， Osindero S， Teh Y W.A Fast Learning Algorithm For Deep Belief Nets[J]. Neural Computation， 2006， 18（7）：1527-1554.

篇4

關鍵詞：矩形混凝土柱；屈服位移；人工神經網絡；預測模型

中圖分類號：TU375.3 文獻標識碼：A

文章編號：1674-2974（2015）11-0017-08

隨著社會經濟的發展，以及對近些年大地震的不斷反思，基于性能的結構抗震設計已成為地震工程領域研究的熱點問題和前沿發展方向，為眾多國家的規程所提及或者采用（如FEMA273[1]，FEMA356[2]，ASCE41[3]和Eurocode8[4]）.柱子作為實際結構中承受豎向荷載和抵抗水平荷載的關鍵構件，其屈服位移的合理評估對于性能化結構抗震設計中結構的動力響應、結構性能水準的評估和抗震延性設計有很大影響.綜合以往對柱子屈服位移的研究，其定義不明確，經驗理論模型預測結果離散度較大的特點，使柱屈服位移的合理取值成為一個亟待解決的問題.

對于柱屈服位移的定義，國內外研究者提出了不同的看法，如Park在文獻＼[5＼]中總結了4種不同的定義方法，并推薦使用割線剛度的方法定義屈服位移.Panagiakos[6]認為判定柱屈服的條件是柱中縱向鋼筋屈服或者混凝土發生嚴重的非線，并在此基礎上給出了對應的經驗公式.Montes[7]基于柱中鋼筋屈服，提出了對應不同強度等級鋼筋的柱有效屈服曲率計算公式.Berry[8]等模擬了PEER[9]柱性能數據庫中255根矩形截面混凝土柱的屈服位移.錢稼茹[10]亦對該數據庫中144根剪跨比大于2的矩形柱考慮軸壓比的影響進行回歸分析，提出了修正的柱屈服轉角表達式.蔣歡軍[11]綜合Berry[8]關于屈服位移以及Priestley[12]對于屈服曲率的定義，在計算屈服位移的公式中加入了考慮柱端鋼筋滑移和柱子剪切變形影響的修正項.Peru[13]基于Eurocode8[14]中柱屈服位移的定義，利用CAE方法對PEER柱性能數據庫的柱屈服位移進行了預測.

柱屈服過程中鋼筋和混凝土都發生了復雜的非線，加之影響屈服性能的因素也非常多，上述基于經驗理論的非線性擬合公式預測柱屈服性能時存在預測結果離散度非常大的問題.人工神經網絡作為一種在數據稀少的情況下能夠有效預測數據輸入和輸出關系的手段而進入研究者的視野.人工神經網絡是以人類神經活動為基礎而發展起來的一項新穎的計算手段，適合處理復雜線性及非線性映射問題.由于其強大的非線性映射能力，神經網絡在工程領域被用于預測圓柱形混凝土柱約束狀態的極限壓應力和對應的壓應變[15]，模擬金屬疲勞裂紋開展速率[16].神經網絡的其它工程應用還有如混凝土柱在彎曲失效模式下的極限變形預測[17]，邊坡穩定性分析[18]，修正結構有限元模型[19]等.

本文基于經驗理論模型對彎曲型混凝土柱屈服性能影響因素的研究，利用神經網絡預測PEER柱性能庫210組矩形混凝土柱的屈服性能，并以此來探討神經網絡對柱性能預測的可行性和有效性.通過對比神經網絡的預測結果與實驗結果以及經驗理論模型估算結果，評價神經網絡預測模型的效果.最后基于Carson敏感性分析方法驗證所選神經網絡輸入參數的合理性并得到輸入各參數對混凝土柱屈服位移的貢獻程度.

1 經驗模型預測實驗數據庫柱屈服轉角

1.1 實驗數據庫

本文對彎曲型失效為主的柱屈服轉角進行預測，在PEER[9]柱性能數據庫中通過以下標準：1）柱子截面形狀為矩形；2）柱子受往復荷載作用直至失效；3）柱子的實驗失效模式為彎曲失效.選擇210組實驗數據，作為神經網絡預測數據庫.該預測數據庫的主要屬性參數范圍如圖1所示.

從圖1中可看出本文所選數據庫主要參數分布覆蓋了常規設計的參數取值范圍，具有廣泛的代表性.

從圖2和表1中可以看出，利用4種經驗模型估算構件的屈服轉角時，預測值與實驗值的比值分布相當離散，ASCE41模型計算結果變異系數相對較小為0.443，而利用ACI318-08（b）變異系數則達到0.65.針對上述預測結果離散的問題，本文采用BP神經網絡預測PEER數據庫柱的屈服轉角.

2 神經網絡預測柱屈服轉角方法

2.1 BP神經網絡

BP神經網絡作為前向型多層神經網絡的一種，其實質是利用誤差反向傳播算法（Back-Propagation）對神經網絡進行訓練.BP神經網絡結構由輸入層、隱含層和輸出層三個部分組成，Hornik[22]已經證明單隱層的神經網絡可以實現任意精度的非線性映射關系.BP神經網絡訓練分為信息的正向輸入和誤差的反向傳播兩個階段.在信息正向輸入階段，輸入參數通過閥值和權值的調節，再經激活函數傳遞對計算結果進行輸出；而在誤差反向傳播階段則是通過計算輸出層的結果和目標值之間的誤差來反向調節各神經元的權值和閥值；在實際訓練中這兩個階段交替進行，直至達到訓練的性能目標為止.

但由于BP學習算法其本質是梯度下降學習算法，權值的修正是沿性能函數梯度的反向進行，使普通的BP神經網絡在訓練時有以下不足：1）作為一種局部搜索的方法，容易陷入局部極小值而不能得到全局最優的結果；2）由于BP算法本身反向傳播的特點，使其在求解矩陣時耗費大量的計算時間，致使神經網絡收斂速度很慢.針對上述不足，眾多學者對其進行修正，其中L-M（Levenberg-Marquardt）[23] 算法因其能夠進行快速迭代，又具有全局優化的特點而在小型神經網絡中得以廣泛應用.L-M算法中迭代項如式（3）所示：

綜合以上討論，可以確定影響柱屈服轉角的主要參數有：混凝土的抗壓強度、軸壓比、剪跨比、縱向鋼筋的屈服強度、配筋率以及縱向鋼筋直徑，并將作為神經網絡預測模型的輸入參數.

2.3 構建BP網絡預測模型

根據前述從PEER數據庫中遴選出的210組數據，180組作為BP神經網絡的訓練集，30組作為測試集.將2.2節討論的6個主要參數作為神經網絡輸入參數，柱的屈服轉角為輸出結果，在MATLAB中建立如圖3所示的3層BP神經網絡N 6-H-1（其中輸入層節點數為6，H為隱含層的節點數，輸出層節點數為1）.

利用MATLAB神經網絡工具箱建立神經網絡模型需要確定以下參數：學習函數、學習速率、激活函數、訓練函數、學習周期、性能目標和隱含層節點數.神經網絡參數選擇如下：

利用BP網絡進行預測分析，為避免因輸入因子數量級差別而引起較大的網絡誤差，一般先將輸入因子進行歸一化處理.為避免激活函數其極值0和1附近飽和而伴隨出現“麻痹現象”，這里采用如式（12）所示方法將神經網絡的輸入和輸出規格化：

2.4 BP網絡預測結果

根據以上討論對圖3中BP神經網絡進行訓練、測試，得到如表2所示的預測結果.

從表2中可以看出當隱含層節點數為13和15時，其測試集和訓練集的性能函數值分別達到最??；而當隱含層節點數為17和21時，神經網絡訓練集和測試集的性能函數均有相對較好的取值.限于篇幅，本文只以13和15節點神經網絡為例，討論其對混凝土柱屈服性能預測的適用性.

圖4和表3列出了對應節點數目為13和15的BP神經網絡模型預測結果.為了進一步檢驗神經網絡的預測能力，將這兩組預測結果與實驗結果進行線性回歸分析，結果如圖5所示.

根據表2和圖5給出的預測結果以及對應的線性回歸結果，其對應較小的性能函數MSE的值和較高的相關系數R的值，可以看出神經網絡能夠準確預測混凝土柱的屈服轉角.

在表3和圖4中可以看出，2種不同節點數的神經網絡均能取得較好的預測結果，表3中訓練集和測試集的最大變異系數僅為0.164和0.179.從圖4～圖5以及表2～表3分析可以看到，利用BP網絡預測柱的屈服位移可以得到相當滿意的結果.

2.5 BP網絡預測結果與經驗模型比較

為了對比說明神經網絡預測結果的準確性，本文也將Elwood在文獻＼[20＼]基于理論推導的有效剛度模型帶入式（2），計算結果列于圖6（a）中.同時對應式（1）中屈服位移的定義，計算對比文獻＼[11＼]所提出的經驗模型屈服轉角：

從圖6和表4中可以看出：在利用Elwood計算模型估算構件的屈服轉角時，估算精度高于前述4種規范模型，但是也看出Elwood模型和Jiang經驗模型估算結果依舊相當離散，其中Elwood模型計算結果變異系數較小為0.365，而Jiang模型的計算結果則為0.477.相對于上述6種經驗理論模型，本文所提的13和15節點神經網絡模型，其預測結果與實驗值的比值均值為1；變異系數僅為0.16和0.13.

相對于前述6種經驗理論模型中僅考慮其中一部分因素的影響或者用一個數學表達式描述輸入參數和柱子屈服位移之間的關系，神經網絡綜合考慮輸入參數之間的相互影響，通過權值和閥值矩陣的調節得到更為準確的預測結果.

2.6 BP網絡敏感性分析

為得到輸入參數對混凝土柱屈服位移的影響程度以及驗證2.2節通過經驗模型選用神經網絡輸入參數方法的合理性，本文采用基于Garson算法[28]的神經網絡敏感性分析.作為基于連接權神經網絡敏感性分析方法的代表，該方法通過連接權的乘積計算輸入變量對輸出變量的貢獻程度.對于一個N X-H-1的神經網絡，其計算表述如式（14）所示：

3 結 論

為了能夠準確地預測混凝土柱構件的屈服性能，建立一種基于BP神經網絡預測混凝土柱的屈服性能的方法.本文首先利用以往的經驗理論模型詳細解構了影響混凝土柱屈服性能的因素，并將混凝土強度、軸壓比、剪跨比、縱向鋼筋配筋率、縱向鋼筋直徑及縱向鋼筋屈服強度作為BP神經網絡的輸入參數預測混凝土柱的屈服性能.通過與已有估算模型結果的對比，顯示出利用BP神經網絡預測模型的高效性.最后通過利用Garson敏感性分析方法證明了本文選擇預測模型輸入參數合理性，并評估了各個輸入因素對混凝土柱屈服位移影響的程度.本文通過利用神經網絡預測矩形混凝土柱的屈服性能，說明在數據不充分的情況下神經網絡對于預測工程結果是一種很有潛力的手段.

參考文獻

[1] FEMA 273 Guidelines for the seismic rehabilitation of buildings[S]. Washington： Federal Emergency Management Agency， 1997：13-14.

[2] FEMA 356 Prestandard and commentary for the seismic rehabilitation of buildings ＼[S＼]. Washington： Federal Emergency Management Agency， 2000：218-218.

[3] ASCE/SEI41 Seismic rehabilitation of existing buildings ＼[S＼]. American Society of Civil Engineers， Reston， VA. 2007：354-354.

[4] Eurocode 8：Design of Structures for earthquake resistance Part 1： General rules， seismic actions and rules for buildings＼[S＼]. Brussels European Committee for Standardization，1998：219-219.

[5] PARK R. Ductility evaluation from laboratory and analytical testing ＼[C＼]// Proceedings 9th World Conference on Earthquake Engineering.Tokyo-Kyoto， Japan. 1988：VIII，605-616.

[6] PANAGIOKOS T B， FARDIS M N. Deformations of reinforced concrete members at yielding and ultimate ＼[J＼]. ACI Structural Journal， 2001， 98（2）： 135-148.

[7] MONTES H E， ASCHLEIM M. Estimates of the yield curvature for design of reinforced concrete columns ＼[J＼]. Magazine of Concrete Research， 2003， 55（4）： 373-383.

[8] BERRY M， EBERHARD M O. Performance models for flexural damage in reinforced concrete columns ＼[R＼]. Pacific Earthquake Engineering Research Center， College of Engineering， University of California， 2004：158-158.

[9] PEER. Peer structural performance database ＼[DB/OL＼]. ＼[2003-12-29＼]. http： // nisee. berkeley. edu / spd.

[10]錢稼茹，徐福江.鋼筋混凝土柱基于位移的變形能力設計方法＼[J＼]. 建筑結構， 2007（12）： 30-32.

QIAN Jia-ru， XU Fu-jiang. Displacement-based deformation capacity design of RC columns ＼[J＼]. Building Structure， 2007（12）： 30-32.（In Chinese）

[11]JIANG Huan-jun， LU Xi-lin， KUBO T. Damage displacement estimation of flexure-dominant RC columns[J]. Advances in Structural Engineering， 2010， 13（2）： 357-368.

[12]PRIESTLEY M. Brief comments on elastic flexibility of reinforced concrete frames and significance to seismic design ＼[J＼]. Bulletin of the New Zealand National Society for Earthquake Engineering， 1998，31（4）： 246-259.

[13]PERU I， FAJFAR P. Prediction of the forceCdrift envelope for RC columns in flexure by the CAE method ＼[J＼]. Earthquake Engineering & Structural Dynamics， 2007，36（15）： 2345-2363.

[14]Eurocode 8： design of structures for earthquake resistance CPart 2： Bridge＼[S＼]. Brussels European Committee for Standardization， 2005：133-133.

[15]ORETA A W， KAWASHIMA K. Neural network modeling of confined compressive strength and strain of circular concrete columns ＼[J＼]. Journal of Structural Engineering， 2003， 129（4）： 554-561.

[16]羅廣恩，崔維成. 金屬疲勞裂紋擴展速率的貝葉斯正則化BP神經網絡預測＼[J＼]. 船舶力學， 2012， 16（4）： 433-441.

LUO Guang-en， CUI Wei-cheng. Prediction of fatigue crack growth rate of metal based on Bayesian regularized BP neural network ＼[J＼]. Journal of Ship Mechanics， 2012， 16（4）： 433-441. （In Chinese）

[17]INEL M. Modeling ultimate deformation capacity of RC columns using artificial neural networks ＼[J＼]. Engineering Structures， 2007， 29（3）： 329-335.

[18]劉思思，趙明華，楊明輝，等. 基于自組織神經網絡與遺傳算法的邊坡穩定性分析方法＼[J＼]. 湖南大學學報：自然科學版，2008，35（12）： 7-12.

LIU Si-si， ZHAO Ming-hua， YANG Ming-hui， et al. Slope stability analysis method based on self-organizing neural network and genetic algorithm＼[J＼]. Journal of Hunan University： Natural Sciences， 2008， 35（12）： 7-12. （In Chinese）

[19]王蕾，郁勝，李賓賓，等. 基于徑向基神經網絡的橋梁有限元模型修正＼[J＼]. 土木工程學報， 2012，45（S2）： 11-15.

WANG Lei， YU Shen， LI Bin-bin， et al. Bridge model updating based on radial basis function neural network ＼[J＼]. China Civil Engineering Journal， 2012，45（S2）： 11-15. （In Chinese）

[20]ELWOOD K J， EBERHARD M O. Effective stiffness of reinforced concrete columns ＼[J＼]. ACI Structural Journal， 2009， 106（4）：483-483.

[21]ACI 318-2008 Building Code requirements for structural concrete and commentary ＼[S＼]. Farmington Hills： 2008， American Concrete Institute， 2008：143-143.

[22]HORNIK K， STINCHCOMBE M， WHITE H. Multilayer feedforward networks are universal approximators ＼[J＼]. Neural Networks， IEEE Transactions on， 1989， 2（5）： 359-366.

[23]HAGAN M T， MENHAJ M B. Training feedforward networks with the Marquardt algorithm ＼[J＼]. Neural Networks， IEEE Transactions on， 1994， 5（6）： 989-993.

[24]鄭罡，李貴乾. 鋼筋混凝土橋墩有效剛度＼[J＼]. 土木工程學報， 2013，46（6）：44-52.

ZHENG Gang， LI Gui-qian. Effective stiffness of reinforced concrete bridges piers ＼[J＼]. China Civil Engineering Journal， 2013，46（6）：44-52. （In Chinese）

[25]SEZEN H， MOEHLE J P. Bond-slip behavior of reinforced concrete members ＼[C＼]//Proceedings of fib symposium on concrete structures in seismic regions. Athens， Greece. CEB-FIP. 2003.

[26]BERRY M J， LINOFF G. Data mining techniques： for marketing， sales， and customer support ＼[M＼].New York： John Wiley & Sons Inc，1997：444-444.

篇5

關鍵詞： 結構損傷；損傷識別；懸臂版；小波概率神經網絡(WPNN)；數據融合

Abstract: through the analysis of wavelet probabilistic neural network (WPNN) and data fusion technology in structural damage identification of the application of the principle, based on wavelet probabilistic neural network and data fusion technology model. To cantilever plate structure of numerical simulation test, the use of damage elements as input vector data training WPNN and data fusion of damage identification model, and selected four unit as a valid sample for inspection, testing results and a good agreement with the numerical test analysis, show that this method in engineering structure damage identification has good application.

Keywords: structural damage; Damage identification; Cantilever version; The probability of wavelet neural network (WPNN); Data fusion

中圖分類號：TU973+.1 文獻標識碼：A文章編號：

1引言

當前，世界范圍內建筑工業的重心正在從大規模新建轉向新建與維修加固并舉[1]。土木工程結構如房屋建筑、橋梁、海洋平臺等在投入使用之后，由于地震、火災、咫風等自然災害或一長期作用的疲勞、腐蝕等原因而產生不同程度的損傷，結構損傷經過長期的累積必然會導致結構發生破壞或使用性能降低[2]。結構的損傷檢測、診斷是土木工程結構經歷自然災害、長期作用后進行維修、加固的基礎，是一項復雜的系統工程，其核心的問題是基于什么理論進行損傷的檢測[3]。

在損傷識別以及其它的信息獲取及處理過程中，信息的確定程度主要取決于選用傳感器的種類、所選擇的方法以及信息源本身[4]。進一步說，單一傳感器獲得的信息通常是不完整、不精確的。多傳感器數據融合技術從多源信號中獲取信息，減小了信息的不確定度，助于幫助制定決策。無損檢測數據融合近幾年發展很快。來自不同國家的很多人對它表現出極大的興趣，他們已經提出了多種適用于無損檢測數據融合的模型[5]。本文給出了一種新的基于小波概率神經網絡（wavelet probabilistic neural network , WPNN）和數據融合的結構損傷檢測方法模型，并給出了該模型在結構損傷識別中的應用。

2基于頻率的結構損傷識別原理

運用試驗測試的數據來確定結構系統運動方程中的參數叫做參數識別。參數識別的典型過程包括在結構系統的模態試驗中測量由于外部激勵作用下的結構響應;從響應的數據中直接地或通過數據處理技術確定系統的動力特性，諸如自振動頻率和振型。結構的頻率相對振型來說更容易較準確測量，而且能夠反映結構整體特征，使其成為結構損傷識別中的重要特征參數。由于系統的自振動頻率和振型是系統參數如質量和剛度的函數，所以可以將實驗得到的結構動力特性與數學模型預測的結構動力特性進行比較從而確定系統參數[6]。結構損傷探測的基本方法正是基于以上的基本概念而產生的。

當不考慮阻尼時，結構振動的特征值方程為

（1）

其中矩陣 、 分別表示離散的質量矩陣、剛度分布， 與 分別是結構第i階固有頻率和正則化振型向量。設損傷使結構剛度矩陣、質量矩陣、頻率及振型向量的變化分別為 、 、 和 則有

（2）

由于結構定部分的質量和剛度損失而引起的 、 的任何變化，都將在自振頻率和振型的測量值中有所反應。當系統自振頻率和振型的測量與原始未損傷系統自振頻率和振型之間出現了差異時，就是表示系統中出現了損傷。一般來說，建筑結構的損傷對結構質量的影響很小，即可取 。將上式左乘 然后展開并忽略二階項，則有

（3）

P.Cawley研究表明兩階頻率的變化比值只與損傷位置有關，而與損傷程度無關。通常采用歸一化的頻率變化率，設第i頻率的變化率為：

(4)

式中fui和fdi分別是結構損傷前后的第i階頻率。FCRi與損傷程度和損傷程度有關，假定損傷不引起質量變化，則有

(5)

將（9）式關于 級數展開并忽略高階項，可得：

(6)

將頻率變化按下式歸一化，得

(7)

可見，歸一化的頻率變化也只與損傷位置有關。

3小波概率神經網絡與多傳感數據融合技術原理

目前，基于動力響應的各種智能損傷診斷技術得到研究，但這些技術存在著識別精度不高或適用條件等缺陷。迅速發展的數據融合技術具有充分利用各個數據源包含的冗余和互補信息的優點，可以提高系統決策的準確性和魯棒性。基于小波概率神經網絡（wavelet probabilistic neural network , WPNN）和數據融合的結構損傷檢測方法將兩者有機結合，揚長避短在損傷識別中顯示出獨有的優越性。

為了充分發揮數據融合與 WPNN 的優點，提出了基于 WPNN 與數據融合的損傷檢測模型見圖1，它首先將來自傳感器 1 的結構響應進行數據預處理、特征提取，采用小波理論，獲得該傳感器的小波能量特征向量；依次類推，獲得其他傳感器的小波能量特征向量;然后將這些小波能量特征向量放入WPNN中，進行神經網絡訓練及融合計算；最后根據最大的概率密度函數值得到融合損傷識別結果及損傷類型。

圖1基于WPNN與數據融合技術的損傷識別模型

可見，基于 WPNN 與數據融合技術的損傷識別與診斷過程是根據從目標的檢測量得到損傷特征向量（模式），經過數據融合分析計算與處理，進行損傷識別及損傷定位的過程。

4結構損傷在線檢測原理

結構損傷檢測的核心技術是模式識別，而模式識別就是將理論分析得到的損傷模式特征庫與實測的模式進行匹配。一般先通過分析各種不同的損傷序列或破壞模態來建立模式庫，然后觀察實測振動信號的變化，并將它與可能發生損傷的模式數據庫進行比較，選擇最相似的模式。神經網絡本身具有模式匹配與記憶的能力，而且對于具有一定噪聲的模式，識別效果更好。運用模式識別進行損傷檢測與用神經網絡進行損傷檢測是兩種不同的診斷方法，但二者密切相關，可以用神經網絡來實現模式識別的損傷檢測。結構損傷的在線檢測原理如圖2所示。

5數值模擬實驗分析

為了驗證神經網絡技術在結構損傷檢測中的有效性，利用ANSYS有限元程序模擬鋼筋混凝土懸臂板，物理參數為:板長lm，寬度0.5 m，密度為7.85 ×103 kg/m3，楊氏模量2.02 ×105 MPa，泊松比0.3。數值模擬試驗模型圖如圖3所示。以單元剛度折減15%來模擬結構的損傷，并忽略結構損傷引起的結構質量的改變。

懸臂板無損傷時前三階頻率為： =8.3206Hz,=35.6900Hz,=51.7780Hz。（理論值為 =8.5620Hz,=36.8200 Hz,=53.2900Hz）,用16個位置剛度分別降低5%來模擬單元的損傷情況。

圖2 結構損傷在線檢測原理

圖3 數值試驗單元網格劃分圖

由于結構中某類損傷的發生可能只與幾個監測參數相關聯，即只跟損傷狀態樣本中與該損傷狀態模式對應的非零特征量相關；同樣，某一傳感器的輸出數據也可能與幾類損傷狀態模式有關。為了充分利用各傳感器的輸出數據進行損傷檢測，采用1、3、4、5、6、8、9、10、12、13、14、15、16單元所得到的訓練樣本進行損傷檢測與識別模型的訓練，基于 WPNN 與數據融合的損傷識別模型的訓練樣本數可以確定出來，檢驗樣本數為2、7、10、11單元的數據。WPNN模型的拓撲結構為20-165-5-5，即輸入層神經元個數為 20，模式層神經元個數為 165，求和層和決策層中的神經元均為5 個。模型配置訓練好后，用另外2、7、10、11這4個檢驗樣本進行檢驗，基于 WPNN 與數據融合損傷檢測方法的識別正確率較好。

6結論

多傳感器數據融合損傷識別性能較好，使用基于 WPNN 與數據融合的損傷識別方法能夠提高損傷識別與診斷的準確性與可靠性。多傳感器所采集的信息具有冗余性，當其中有一個甚至幾個傳感器信息不可靠時，經過數據融合處理后會使基于 WPNN 與數據融合的損傷識別方法在利用這些信息時具有良好的容錯性?？傊?，利用神經網絡進行特征級數據融合對結構損傷進行診斷與識別，具有很大的潛力，值得進一步在理論與實際應用上開展深入研究，這種方法也必定將成為結構損傷診斷研究領域的新方法。

參考文獻

[1] 李國強，李杰.工程結構動力檢測理論與應用[M].北京：科學出版社, 2-4

[2] Tsou P., Shen M. H. Structural damage detection and identification using neural networks [J]. AIAA Journal, 1994,32: 176-183

[3] 楊英杰，虞和濟.結構損傷狀態識別的神經網絡方法[J].東北大學學報，1994，15 (2)：210-214.

[4] 周先雁，劉希，沈蒲生.用含裂紋的梁單元識別混凝土框架結構損傷[J].振動工程學報，1999，12(1):115-119

篇6

關鍵詞：卷積神經網絡；點擊率預測；搜索廣告

中圖分類號：TP391.41 文獻標識號：A 文章編號：2095-2163（2015）04-

Click-Through Rate Prediction for Search Advertising based on Convolution Neural Network

LI Siqin， LIN Lei， SUN Chengjie

（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China）

Abstract： Click-Through Rate （CTR） prediction is the foundation of search advertising. Nowadays， lots of researches have been explored to predict CTR， and most of those researches either rely on liner model or employ method of recommendation system. However， the relations between different features in CTR predication have not been fully explored in previous works， and the relations between different features also cannot be fully embodied. In this paper， CTR prediction for search advertising based on convolution neural network is proposed， and process of convolution neural network simulating the process of human thought on feature learning is explained. Furthermore， the performance of different features have been analyzed in the task of predicting CTR. Experiments are conducted on the dataset of KDD Cup 2012 Track2 and the proposed method achieves 0.7925 in AUC， demonstrating the effectiveness of the proposed approach.

Keywords： Convolution Neural Network； Click-Through Rate Prediction； Search Advertising

0 引 言

隨著Web搜索技術的成熟，搜索廣告已經成為互聯網行業的主要收入來源之一，其根據用戶輸入的查詢詞，在搜索的結果頁面呈現出相應的廣告信息。廣告媒介的收益通過每次點擊費用（CostPerClick，CPC）與廣告點擊率（Click-Through Rate，CTR）預測共同影響而得到，即CPC*CTR。由于用戶點擊廣告的概率隨著廣告位的排放順序呈遞減趨勢，因此對CTR進行準確高效的預測，并將CTR高的廣告投放在搜索結果頁面靠前的位置，不僅能增加廣告媒介的收益，還能提高用戶對搜索結果的滿意程度。

廣告點擊率預測是廣告算法中最核心的技術，近年來被學術界廣泛關注。部分學者使用基于推薦方法的模型來解決CTR預測問題。霍曉駿等人[1]采用協同過濾算法，為頁面找到與其相似的其他鄰居頁面，實現CTR的預測，以此作為基礎進行廣告推薦，但當相似頁面的數量增加時，該方法的結果質量會嚴重下滑。Kanagal等人[2]提出了一種聚焦矩陣分解模型，針對用戶對具體的產品的喜好以及相關產品的信息進行學習，解決因用戶-產品交互活動少而造成的數據稀疏問題。在文獻[2]的基礎上，Shan等人[3]提出了一種立方矩陣分解模型，通過對用戶、廣告和網頁三者之間關系的立方矩陣進行分解，利用擬合矩陣的值來預測CTR，雖然立方矩陣分解模型增加了一維交互關系，但所刻畫的交互關系仍然十分局限，不能在CTR預測中充分挖掘廣告所有特征之間的聯系。

作為典型的預測問題，很多研究中通過將CTR預測問題看作分類或者回歸問題來解決，其中最常見的是應用線性模型來預測CTR。Chapelle等人[4]使用動態貝葉斯網絡，通過對用戶產生的點擊過程建立模型，考慮級聯位置的信息模擬出特定位置與相近位置的相關性，以判斷該位置上的廣告是否滿足用戶搜索要求。Chakrabarti等人[5]利用點擊反饋的相關性，通過在網頁和廣告詞等特征上使用邏輯回歸模型提高廣告檢索和預測的效果。Wu等人[6]基于融合的思想，將不同線性模型的實驗效果相結合，來提高搜索廣告CTR預測的結果。真實的場景中CTR的預測并非簡單的線性問題，因此，一些學者開始使用非線性模型來解決CTR的預測。Dave等人[7]在搜索廣告點擊信息以及廣告商賬戶信息上提取語義特征，使用基于投票思想的梯度提升決策樹模型，提高了CTR預測的效果。Zhang等人[8]利用神經網絡模型對影響搜索廣告點擊率的因素進行的探索，從特征因素方面提高CTR預測的結果，但是資源單一，數據交互的關系沒有獲得良好的利用。

本文對基于卷積神經網絡（Convolution Neural Network，CNN）的CTR預測進行研究，通過卷積與亞采樣操作的結合，能更好地學習出數據特征之間的關系，不僅解決了線性模型無法模擬真實廣告數據場景的問題，也解決了淺層學習模型無法深入挖掘特征間相互關系的問題，并且較之于傳統的神經網絡，CNN能更好地理解特征之間的關系。在真實的數據集上的實驗驗證了本文的方法能夠提高搜索廣告中CTR預測的AUC值。

1卷積神經網絡模型

1.1 卷積神經網絡基本模型

卷積神經網絡作為人工神經網絡之一，目前已成為深度學習領域中研究的熱點，權值共享以及局部窗口滑動的特點使之能更好地模擬出生物神經網絡。卷積神經網絡在結構上有兩個重要的組成部分：卷積層和亞采樣層。如圖1所示。

圖1 卷積層與亞采樣層結構

Fig.1 Convolution layer and sub-sampling layer structure

在卷積層中，原始特征通過卷積核進行卷積得到輸出的特征，使用不同的卷積核就可以得到一系列不同的輸出特征。對卷積層的計算，有如下公式：

（1）

這里， 是sigmoid 函數， ， ； 代表輸入特征上選定的窗口，即在卷積過程中當前卷積核在計算時所對應在輸入特征上的位置； 和 分別是第 層輸入特征和第 層輸出特征上相應的值； 是卷積核的權重值； 是特征的偏置，每一層對應一個。

卷積過程，一個卷積核通過滑動會重復作用在整個輸入特征上，構建出新的特征。同一個卷積核進行卷積時，共享相同的參數，包括同樣的權重和偏置，這也使要學習的卷積神經網絡參數數量大大降低了。而當我們使用不同的卷積核進行卷積時，可以得到相應的不同的輸出特征，這些輸出特征組合到一起，構成卷積層的輸出。

在亞采樣層，前一個卷積層的輸出將作為該層的輸入特征，首先設定大小的窗口，然后通過滑動，用窗口區域中最大（或平均）的特征值來表示該窗口中的特征值，最后組合這些特征值得到降維后的特征。亞采樣過程可表示如下：

（2）

這里，類似于卷積層， 和 分別是第 層輸入特征和第 層輸出特征上相應的值， 是特征的偏置； 表示取最大值 或者平均值 的函數。

典型的卷積神經網絡通常由n（n>=1）個卷積層和亞采樣層以及最末尾的m（m>=1）全連接層組合而成。一個亞采樣層跟隨在一個卷積層后出現，通過這若干卷積層和亞采樣層后得到的特征，將經過全連接層與輸出層相連。全連接層公式如下：

（3）

這里， 是sigmoid函數， 是計算第 層到第 層時的權重值。

1.2基于卷積神經網絡的CTR預測模型

研究中使用卷積神經網絡對搜索廣告的CTR進行預測，網絡結構如圖2所示。

圖2 卷積神經網絡在搜索廣告點擊率預估中的應用

Fig.2 Convolution neural network in search ad click rate through prediction

實驗中一共設置了兩個卷積層、兩個亞采樣層以及一個全連接層。首先從歷史日志中提取相應的特征構建出輸入（Feature_Input），設置好卷積的窗口大小后根據公式（1）對輸入特征進行卷積，每一次卷積是對窗口內所有值的組合，因此卷積過程相當于特征融合過程。對卷積后得到的特征，設置亞采樣的窗口并根據公式（2）進行最大值-采樣，選取出窗口中的最有表達能力的特征值（最大特征值）表示整個窗口的特征，因此亞采樣過程相當于特征的萃取過程。整個卷積和亞采樣過程的結合，模擬出了人對事物的理解和總結的過程。最后將特征經過一層全連接后連接到輸出，得到最終的預測結果。

在一次特定的卷積（或亞采樣）全過程中即訓練的一次迭代過程中，權值并不會隨著窗口的滑動而改變，即在計算中，所有窗口滑過的特征享受同樣的權值。這也是CNN區別于其他神經網絡的特點――權值共享。如此即使得CNN更方便訓練，更能多角度地對特征進行學習。

2特征構建

本文所采用的實驗數據集為KDD Cup 2012中Track 2提供的數據集。該數據由騰訊公司下的搜索品牌搜搜（SOSO）搜索引擎提供，因為涉及公司商業信息，數據經過哈希處理。實驗數據集中，每條記錄包含12個屬性，各屬性詳解如表1所示。

研究按照實際含義將這12個屬性構造了四大類特征：歷史點擊率特征、相似度特征、位置特征和高影響力特征。

2.1基于卷積神經網絡的CTR預測模型

歷史點擊率特征是不同類別ID在歷史數據中的點擊率，雖然比較簡單但十分有效，因為歷史點擊率在一定程度上代表了類別ID對某個廣告感興趣程度的高低，當一個ID對某個廣告的歷史點擊率高時，意味著其對這個廣告更感興趣，后續點擊的概率也更大。

歷史點擊率（ ）是點擊數（ ）與展示數（ ）之比，在統計計算過程發現有很多情況下有些類別信息沒有點擊實例，因此研究采用了平滑方法解決零值問題，根據公式（4）來計算平均點擊率。計算公式如下：

（4）

公式中的 和 是調節參數，根據公式（4）計算出AdID，AdvertiserID，QueryID，KeywordID，TitleID，DescriptiomID，UserID的歷史點擊率。

2.2相似度特征

相似度特征用來刻畫屬性兩兩之間的相似程度，用戶搜索的內容與被投放的廣告屬性相似度高時，廣告被點擊的概率更大。例如當搜索內容Query與廣告關鍵字屬性Keyword相似度高時，意味著網頁投放的廣告與用戶期望搜索的廣告結果相似度高，更符合用戶點擊廣告的動作。

通過對Query、Keyword、Title、Description的屬性描述文件構造出相關的TF-IDF向量，Query為用戶搜索內容，Keyword，Title，Description是廣告的相關屬性，數據集提供的屬性信息都是經過哈希后的數字形式，但是屬性之間的相對含義不變，然后計算相互之間的余弦相似度作為特征。

2.3位置特征

該特征描述的是指定廣告在搜索結果頁面中的位置信息。用戶搜索時需求的多樣化要求在對廣告進行排序和投放時，在結果頁面靠前的位置中盡可能地投放滿足用戶需求的廣告，從而最大化用戶的滿意度、提高用戶點擊的興趣[9]。因此，研究即用當前預測廣告的相對位置Pos來刻畫該廣告在結果頁面中排序靠前的程度，其定義如下：

（5）

這里， 指頁面投放的廣告總數， 指當前所預測廣告的位置。

2.4位置特征

在預測模型中，ID屬性信息通常采用one-hot形式的特征編碼方式，在將不同的屬性經過one-hot編碼后的特征向量組合在一起，這樣方式簡單直觀，卻使得特征的維度巨大并且非常稀疏。然而在這龐大且稀疏的特征中，絕大部分維度上的特征值對整個模型的預測結果貢獻非常小甚至為零，只有少數維度上的特征值對預測結果有較高的影響力。因此研究采用L1范數正則化的方式，在邏輯回歸模型的代價函數中加入L1范數[10]，使得模型學習得到的結果滿足稀疏化，在學習參數中按大小順序取出前N維權重較大的，將這N維權重對應位置上的特征值構建新的特征，稱為高影響力特征，考慮到實驗硬件，取N=180。

3 實驗結果與結論分析

3.1數據準備

實驗目標是通過給定的信息預測搜索網頁的廣告點擊率，由于數據量過大并且正負樣本不平衡，實驗中從訓練集隨機采樣10%作為本文實驗中模型訓練的訓練集，既縮小了樣本空間，同時隨機采樣也保持了原始數據的分布信息。實驗中隨機抽取部分樣本作為驗證集用于參數的調節。本文所用測試集為 KDD Cup 2012中track 2的全部測試數據，因此本文的結果與KDD Cup 2012中track 2比賽的結果具有可比性。數據的統計信息如表2所示。

這里， 、 分別表示結果中預測對的正樣本數和負樣本數， 、 分別表示結果中預測錯的正樣本數和負樣本數。對于廣告點擊率預測問題，較大的AUC值代表了較好的性能。

3.2實驗設置和結果分析

實驗的操作系統為Ubuntu 12.04 LTS OS，卷積神經網絡在4G RAM 的NVIDIA GeForce GT 610 GPU條件下運行。過程中選用了Dense Gaussian對卷積層、亞采樣層的邊和節點進行初始化，用常數初始化輸出層，學習卷積神經網絡各邊權值時的優化函數使用梯度下降算法，其中學習率為0.01、動量項為0.9，訓練步數為100，設置公式（4）中參數α=0.05，β=75。實驗時使用邏輯回歸模型（LR）、支持向量回歸模型（SVR）和深度神經網絡（DNN）作為對比方法，所有方法都使用相同的特征，其中DNN的層數以及每層的節點數與卷積神經網絡相同。

具體地，首先探究了卷積神經網絡中節點的設置，因為在CNN中后續層的節點數根據第一個卷積層和每層卷積（或亞采樣）滑動窗口的大小計算得到，并以第一個卷積層節點的設置為實驗變量，同時控制DNN中每層的節點數均與CNN相同，在驗證集上的實驗結果如圖3所示。

從圖3可以看出，隨著節點的增加，AUC的值也在不斷增長，在一定范圍內，節點數越多，實驗的結果越好。但隨著節點數的增大，模型的訓練時間也在延長，對設備的開銷需求也在升高，綜合上述因素，最終將第一層的節點數設為9 216。

CNN與各對比實驗的實驗結果如表3所示，可以看出CNN的效果最佳，此外在表中還列出了KDD Cup 2012 track 2比賽中第一名的結果。DNN的AUC值優于LR和SVR，驗證了深度學習模型比淺層學習模型更適合解決CTR預估問題，同時CNN的結果高于DNN，說明CNN中卷積層的特征融合和亞采樣層的特征萃取過程是有效的。本文中CNN目前的實驗結果略低于KDD Cup 2012 track 2中第一名的結果，原因是比賽隊伍使用了多模型融合并提取了龐大的（千萬維）輸入特征。

進一步地，實驗探索了每一類特征對搜索廣告點擊率預測的貢獻。在所有特征的情況下，去掉某一類特征來進行預測，實驗結果如表4所示。實驗結果表明，去掉任意一類特征都將使得實驗效果有所下降。其中去掉歷史點擊率特征效果下降得最明顯，說明用戶是否點擊廣告，與其之前的點擊行為非常相關。而去掉位置特征時，效果下降得最為不明顯，因為在實驗使用的數據集中，每個頁面最多僅呈現三個廣告，頁面中的廣告數少時，位置對用戶點擊的影響小。

4 結束語

對搜索廣告點擊率的有效預測不但能夠更好的提高在線廣告投放的性能，增加廣告商的收益，還能增強用戶的體驗。研究使用卷積神經網絡CNN對搜索廣告點擊率進行預測，對特征因素的分析之后，在真實數據的環境下對搜索廣告點擊率進行預測的實驗本文的方法的效果相對于其他方法有明顯的提高。本文的主要貢獻有：（1）本文提出了基于卷積神經網絡的搜索廣告點擊率預測的方法。（2）針對高維特征，提出了一種特征選擇策略，可以在計算能力受限的情況下使用CNN模型來解決廣告點擊預測問題，并取得較好效果。在未來的工作中，一方面要繼續研究更有效的特征來提高對點擊率的預測效果，另一方面也將嘗試對CNN模型的內部細節進行改進，使之更適合我們的預測場景。

參考文獻：

[1] 霍曉駿，賀牛楊燕. 一種無位置偏見的廣告協同推薦算法[J]. 計算機工程， 2014， 40（12）： 39-44.

[2] BHARGAV K， AHMED A， PANDEY S， et al. Focused matrix factorization for audience selection in display advertising[C]// Data Engineering （ICDE）， 2013 IEEE 29th International Conference on， Brisbane ， Australia： IEEE， 2013：386-397.

[3] SHAN Lili， LEI Lin， DI Shao， et al. CTR Prediction for DSP with Improved Cube Factorization Model from Historical Bidding Log[M]// C K Loo， et al（Eds.）： Neural Information Processing. Switzerland：Springer，2014，8836：17-24.

[4] OLIVIER C， ZHANG Ya. A dynamic bayesian network click model for web search ranking[C]//Proceedings of the 18th international conference on World wide web. Madrid： ACM，2009：1-10.

[5] DEEPAYAN C， AGARWAL D， JOSIFOVSKI V. Contextual advertising by combining relevance with click feedback[C]//Proceedings of the 17th international conference on World Wide Web. Beijing： ACM，2008：417-426.

[6] WU Kuanwei， FERNG C S， HO C H， et al.， A two-stage ensemble of diverse models for advertisement ranking in KDD Cup 2012[J]. KDDCup， 2012.

[7] DAVE K S， VARMA V. Learning the click-through rate for rare/new ads from similar ads[C]// Proceedings of the 33rd international ACM SIGIR conference on Research and development in information retrieval， Geneva， Switzerland：ACM，2010.

[8] ZHANG Ying， JANSEN B J ， SPINK A. Identification of factors predicting clickthrough in Web searching using neural network analysis[J]. Journal of the American Society for Information Science and Technology， 2009， 60（3）： 557-570.

[9] 林古立.互聯網信息檢索中的多樣化排序研究及應用[D].華南理工大學，2011.

篇7

關鍵詞：稀疏系數；超分辨率重建；在線字典學習；單圖

中圖分類號：TP391.9 文獻標志碼：A

0引言

單幅圖像的超分辨率重建可以定義為在原始低分辨率單幅輸入圖像的基礎上增加更多細節和分辨能力從而生成一幅相應高分辨率圖像的過程，總體上看可以按其任務歸為四類：1）預測模型法。通過預定的數學模型從低分輸入圖像生成高分圖像。加權平均等插值方法得到的像素強度值和相鄰像素局部相似，能生成較好的平滑區域，但邊緣等高頻區域產生大梯度時表現不佳。2）邊緣先驗法。利用從邊緣特征所學習到的圖像先驗信息重建高分圖像。邊緣是重要的原始圖像結構，在視覺感知上起著決定性的作用。由于先驗信息都由邊緣學習得來，重建圖像邊緣質量高，銳度適當且偽影較少；但邊緣先驗對其他高頻結構（如紋理）建模的有效性較差[1]。3）圖像統計法。利用各種圖像屬性作為先驗信息重建高分圖像。重尾梯度分布、大量梯度的稀疏特性和全變分等方法用來減少運算量或對低分輸入圖像進行正則化，算法較復雜。4）圖像塊法。利用學習到的高分、低分圖像的映射函數恢復較好的圖像細節，效果較好但耗時較長。映射函數的學習方法有多種，如馬爾可夫隨機場、支持向量回歸、稀疏字典表示等[2]。

隨著機器學習和壓縮感知理論的引入，基于學習的超分算法在單圖超分應用中越來越多。Yang等[3-4]提出了基于稀疏編碼和字典學習的稀疏編碼超分（Sparse Coding SuperResolution，SCSR）法，超分圖像邊緣銳度較好但偽影較明顯。Yang等[4-5]都用聯合字典訓練生成過完備字典。Glasner等[6]提出了一種基于圖像自身冗余信息的樣本庫建立方法，插值產生樣本庫，但自適應能力較差。Zeyde等[7]將高分字典和低分字典的訓練分開進行，對圖像塊進行降維處理，引入神經網絡近似并用偽逆式簡化高分字典的訓練，提高了超分速度。Marial等[8]提出的在線字典學習（Online Dictionary Learning，ODL）法，使字典學習不再局限于小規模、確定的訓練樣本，提高了字典訓練的精度，圖像復原應用效果較好。Yeganli等[9]將基于ODL的超分辨率重建與其他算法作了比較，但提升效果有限。楊波等[10]在小波域中進行雙稀疏編碼，重建效果較好。另外，許多學者[11]將重建和學習方法的優點結合，提出了基于圖像金字塔的多級字典超分辨率重建算法。以SCSR法為代表的基于學習的超分算法能夠取得較好的單圖超分效果，若能有效抑制其邊緣偽影，增加紋理細節，超分效果將有較大幅度的提高。

4結語

利用稀疏編碼進行超分辨率重建生成的目標高分圖像邊緣銳度較好，但沿著邊緣區域同時會生成較明顯的偽影，且圖像紋理細節會產生輕微的扭曲。針對這些問題，本文算法合理地處理訓練和重建兩個階段中稀疏系數的關系，通過設置不同的正則化參數，獨立地調整兩階段的稀疏系數，分開訓練得到較好的高分字典和低分字典。此外，還在訓練階段引入在線字典學習算法，通過外部訓練圖像分開生成更精確的高分字典和低分字典，在消除偽影的同時，不僅能保持圖像邊緣的銳度，還能較好地恢復圖像的紋理細節。本文算法主要關注訓練階段，后續研究中可以設計適合本文算法的重建模型，進一步提高單幅圖像的超分辨率重建效果。

參考文獻：

[1]

YANG C Y， MA C， YANG M H， et al. Singleimage superresolution： a benchmark[C]// Proceedings of the 2014 European Conference on Computer Vision. Berlin： Springer， 2014：372-386.

[2]

FREEMAN W T， PASZTOR E C， JONES T R. Examplebased superresolution [J]. IEEE Computer Graphics and Applications， 2002， 22（2）： 56-65.

[3]

YANG J C， WRIGHT J， MA Y， et al. Image superresolution as sparse representation of raw image patches[C]// Proceedings of the 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2008： 1-8.

[4]

YANG J C， WRIGHT J， MA Y. Image superresolution via sparse representation [J]. IEEE Transactions on Image Processing， 2010， 19（11）：2861-2873.

[5]

HE L， QI H U， ZARETZKI R. Beta process joint dictionary learning for coupled feature spaces with application to single image superresolution [C]// Proceedings of the 2013 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013： 345-352.

[6]

GLASNER D， BAGON S， IRANI M. Superresolution from a single image [C]// Proceedings of the IEEE 2009 International Conference on Computer Vision. Piscataway， NJ： IEEE， 2009： 349-356.

[7]

ZEYDE R， ELAD M， PROTTER M. On single image scaleup using sparserepresentations[C]// Proceedings of the 7th International Conference on Curves and Surfaces， LNCS 6920. Berlin： Springer， 2010：711-730.

[8]

MAIRAL J， BACH F， PONCE J， et al. Online learning for matrix factorization and sparse coding [J]. Journal of Machine Learning Research， 2010， 11（10）： 19-60.

[9]

YEGANLI F， OZKARAMANLI H. Improved online dictionary learning for sparse signal representation[C]// Proceedings of the 22nd Signal Processing and Communications Applications Conference. Piscataway， NJ： IEEE， 2014：1702-1705.

[10]

楊波， 吳紀桃， 謝曉振.小波域中雙稀疏的單幅圖像超分辨[J].中國圖象圖形學報， 2014， 19（11）：1570-1576.（YANG B， WU J T， XIE X Z. Single image superresolution in wavelet domain with double sparse [J]. Journal of Image and Graphics， 2014， 19（11）：1570-1576.）

[11]

ZHANG K， GAO X， TAO D， et al. Multiscale dictionary for single image superresolution[C]// Proceedings of the 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2012： 1114-1121.

[12]

YANG J， LIN Z， COHEN S. Fast image superresolution based on inplace example regression[C]// Proceedings of the 2013 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013： 1059-1066.

[13]

SADEGHI M， BABAIEZADEH M， JUTTEN C. Dictionary learning for sparse representation： a novel approach [J]. IEEE Signal Processing Letters， 2013： 20（12）：1195-1198.

[14]

LEE H， BATTLE A， RAINA R， et al. Efficient sparse coding algorithms[EB/OL]. [20150510]. http：//machinelearning.wustl.edu/mlpapers/paper_files/NIPS2006_878.pdf.

[15]

EFRON B， TIBSHIRANI R. Least angle regression [J]. The Annals of Statistics， 2004， 32（2）：2004：407-451.

Background

This work is partially supported by the National Natural Science Foundation of China （61271256）， the Team Plan Program of the Outstanding Young Science and Technology Innovation of Colleges and Universities in Hubei Province （T201513）， the Natural Science Foundation of Hubei Province （2015CFB452）， the Research Project of Education Department in Hubei Province （B2015080）.

NI Hao， born in 1981， M. S.， lecturer. His research interests include machine learning， computer vision.

RUAN Ruolin， born in 1974， Ph. D.， professor. His research interests include video and audio coding， image processing.

篇8

2.基于混合高斯和均值濾波法的運動檢測方法鐘珞，劉劍，ZHONGLuo，LIUJian

3.電源監控系統中的遠程采集終端設計夏澤中，蘇宏良，朱玉璟，XIAZezhong，SUHongliang，ZHUYujing

4.一種面向服務的異構系統間數據交換平臺設計孫璐，SUNLu

5.基于CAN總線的接觸網隔離開關監控系統設計王小偉，余先濤，戴延浩，WANGXiaowei，YUXiantao，DAIYanhao

6.基于SQL*Loader的海量數據裝載方案優化秦峰巍，胡家寶，崔龍衛，QINFengwei，HUJiabao，CUILongwei

7.基于Netfilter的網絡地址轉換研究與實現鄭培群，蘇揚，郭倩，ZHENGPeiqun，SUYang，GUOQian

8.采用ADuC7026的網絡分布式數據采集系統趙京，ZHAOJing

9.紡織廠生產監控系統的數據采集和擬合方法邵景峰，李永剛，王進富，任克儉，黨金房，李敏，SHAOJingfeng，LIYonggang，WANGJinfu，RENKejian，DANGJinfang，LIMin

10.夫瑯和費衍射實驗仿真平臺的構建楊應平，趙盾，胡昌奎，陳文杰，YANGYingping，ZHAODun，HUChangkui，CHENWenjie

11.一種周期材料電磁波特性實驗研究鄭鈞宜，余昌文，章橋新，ZHENGJunyi，YUChangwen，ZHANGQiaoxin

12.小型低風速風力發電機葉片設計錢杰，張錦光，吳俊，QIANJie，ZHANGJinguang，WUJun

13.低溫環境下光纖光柵啁啾異常現象研究周建華，張東生，付榮，ZHOUJianhua，ZHANGDongsheng，FURong

14.水庫冰凍期冰內溫度的模擬閆慧榮，劉文濤，馮民權，閔濤，YANHuirong，LIUWentao，FENGMinquan，MINTao

15.基于小波的浮筏振動信號特征提取方法李萍，王春麟，LIPing，WANGChunlin

16.磁懸浮主動隔振器漏磁分析與優化黃海，宋春生，劉明堯，HUANGHai，SONGChunsheng，LIUMingyao

17.變剛度雙層隔振系統仿真分析姚俊輝，宋春生，YAOJunhui，SONGChunsheng

18.基于ANSYS層單元的翻新輪胎有限元仿真分析齊曉杰，于建國，QIXiaojie，YUJianguo

19.雙質量飛輪傳動軸系扭振模擬試驗臺研究吳飛，毛恒，WUFei，MAOHeng

20.一類Liénard方程Poincaré分岔極限環的不存在性呂寶紅，L(U)Baohong

21.中國非金屬礦物材料信息資源庫系統設計楊琦峰，王俊，聶規劃，宋平，YANGQifeng，WANGJun，NIEGuihua，SONGPing

22.射頻感應認證技術在服務行業中的應用王思捷，WANGSijie

23.企業協同知識創新系統的多級可拓評價研究李朝明，杜寶蒼，黃利萍，LIChaoming，DUBaocang，HUANGLiping

24.產業鏈視角下汽車產業創新服務平臺研究汪秀婷，陳天笑，WANGXiuting，CHENTianxiao

25.我國航運企業信息化發展趨勢及戰略選擇何山，馬云涌，HEShan，MAYunyong

26.我國兩化融合水平區域差異分析黃體鴻，侯仁勇，陳天笑，HUANGTihong，HOURenyong，CHENTianxiao

27.云南省循環經濟發展的生態效率測度研究蘇芳，閆曦，SUFang，YANXi

28.我國就業的影響因素及其效應的動態分析張應碧，趙韞，ZHANGYingbi，ZHAOYun

29.我國服務貿易發展的現狀分析與對策研究胡琴，HUQin

30.奇點分離法在美式期權定價中的應用王建華，董志華，WANGJianhua，DONGZhihua

31.基于強化緩沖算子的裝備修理價格預測謝力，魏汝祥，陸霞，王雷，XIELi，WEIRuxiang，LUXia，WANGLei

32.基于GARCH模型的WTI原油價格波動性分析楊云飛，鮑玉昆，張金隆，YANGYunfei，BAOYukun，ZHANGJinlong

33.基于RNN模型的高科技企業經營困境預測尹鵬，王宗軍，肖德云，薄純林，YINPeng，WANGZongjun，XIAODeyun，BOChunlin

34.創業者與管理者決策方式的比較陳震紅，董俊武，CHENZhenhong，DONGJunwu

35.金融產品創新鏈研究姚良，YAOLiang

36.基于復雜網絡的股票社團化分析王娟，王衛華，WANGJuan，WANGWeihua

37.中美上市公司內部控制信息披露比較研究胡蕾，祝焰，HULei，ZHUYan

38.業主支付擔保的博弈論分析鄭梅華，張云波，ZHENGMeihua，ZHANGYunbo

39.汽車制造企業生產成本管理研究王秀梅，李明，WANGXiumei，LIMing

40.面向供應鏈的ERP研究綜述徐俊，徐學軍，王旭陽，XUJun，XUXuejun，WANGXuyang

41.FMEA和價值工程方法在生產流程中的應用計三有，王勇，JISanyou，WANGYong

42.服務供應鏈中核心價值內部客戶評價方法喻立，YULi

43.基于模糊神經網絡的第三方物流項目風險預測王慧萍，WANGHuiping

1.基于ANSYS的儲熱室隔熱性能數值模擬程曉敏，梅麗君，吳興文，熊文，CHENGXiaomin，MEILijun，WUXingwen，XIONGWen

2.一種基于G.723.1的大容量自適應信息隱藏算法王春輝，黃永峰，王衛華，鄧北星，WANGChunhui，HUANGYongfeng，WANGWeihua，DENGBeixing

3.基于線陣CCD的在線亞像素邊緣測量系統雷波，盧紅，LEIBo，LUHong

4.基于S7-400PLC的水泥破碎控制系統設計肖峻，劉冰，劉艾明，XIAOJun，LIUBing，LIUAiming

5.基于Labview的緩沖材料動態壓縮測試系統設計盧杰，焦麗娟，周廷美，LUJie，JIAOLijuan，ZHOUTingmei

6.一種新的無線傳感器網絡分布式節點定位方法賀遠華，黎洪生，HEYuanhua，LIHongsheng

7.幾種應用于人臉識別的光照預處理方法對比孟芳兵，吳雷，MENGFangbing，WULei

8.一種變步長LMS自適應噪聲抵消算法研究李曉艷，聶明新，余文芳，LIXiaoyan，NIEMingxin，YUWenfang

9.一種改進的協同過濾推薦算法劉旭東，陳德人，王惠敏，LIUXudong，CHENDeren，WANGHuimin

10.總變差正則化方法在條形碼信號復原中的應用郭永琪，吳傳生，何進榮，GUOYongqi，WUChuansheng，HEJinrong

11.基于同步模式的EXCEL與.NET數據交互金勇，蘭放，JINYong，LANFang

12.C語言可視化編程環境的設計與實現陳雪梅，韓潔瓊，CHENXuemei，HANJieqiong

13.基于均值平移的輸液可見異物檢測方法楊偉強，劉佐民，YANGWeiqiang，LIUZuomin

14.基于電機主動同步原理的AMT設計吳森，周炳峰，樊榮，WUSen，ZHOUBingfeng，FANRong

15.汽車制動管路壓力波動響應特性仿真鄧紅星，王憲彬，DENGHongxing，WANGXianbin

16.一種低功耗一體化TPMS方案設計劉盛強，王善坡，LIUShengqiang，WANGShanpo

17.基于迂回方式的繼電保護信道重構技術鮑曉慧，BAOXiaohui

18.基于FBG分布式傳感的簡支板動態應變測量匡維，宋春生，KUANGWei，SONGChunsheng

19.不同型鋼截面定尺切斷設備的優化選擇于彩敏，YUCaimin

20.二維離散數據的數值微分問題的積分算子方法朱華平，吳傳生，呂小紅，ZHUHuaping，WUChuansheng，LVXiaohong

21.鐵礦石生產運輸管理系統的研究韓少軍，白俊江，王龍，HANShaojun，BAIJunjiang，WANGLong

22.文峪河水庫潰壩洪災損失預測研究楊建明，馮民權，蘆綺玲，韓巧欠，YANGJianming，FENGMinquan，LUQiling，HANQiaoqian

23.網絡信息資源管理楊瓊，YANGQiong

24.沖壓廠生產計劃編排系統研究王秀梅，杜巧紅，WANGXiumei，DUQiaohong

25.基于RFID的供應鏈管理信息系統集成廖燕，LIAOYan

26.移動商務價值形成機制的多智能體模擬曾慶群，胡斌，ZENGQingqun，HUBin

27.基于技術的績效管理信息系統研究林慧，LINHui

28.長江淺險航段通航環境危險度分析楊亞東，YANGYadong

29.應用模糊綜合評價法進行城市布局的評判研究藍悅明，劉會會，王楠，LANYueming，LIUHuihui，WANGNan

30.競爭與合作設施并存的最大覆蓋選址問題，馬云峰，WANGDan，MAYunfeng

31.我國交叉型乘用車市場研究鄒蔚，莫易敏，姚佐平，ZOUWei，MOYimin，YAOZuoping

32.構建中國海外投資促進體系研究綜述劉思施，馬麗娜，LIUSishi，MALina

33.新股詢價區間、價格調整與上市首日收益鄒斌，夏新平，ZOUBin，XIAXinping

34.美聯儲貨幣政策與房地產泡沫關系實證分析劉星，LIUXing

35.美國反傾銷問題的新進展馬紅，張函，MAHong，ZHANGHan

36.基于最高限價的武器裝備價格規制模型研究黃煜，孫勝祥，任開成，HUANGYu，SUNShengxiang，RENKaicheng

37.基于定制成本的廠商生產戰略研究張子慧，張隱，張榮耀，ZHANGZihui，ZHANGYin，ZHANGRongyao

38.周期性補貨系統中多類顧客的庫存分配策略汪小京，劉志學，鄭，WANGXiaojing，LIUZhixue，ZHENGChangzheng

39.基于C2C模式下顧客忠誠影響因素的研究劉雁妮，周志民，任思穎，LIUYanni，ZHOUZhimin，RENSiyin

40.基于熵權的裝備研制技術成熟度評估方法謝梅芳，楊建軍，XIEMeifang，YANGJianjun

41.海事局人力資源結構合理性度量研究羅帆，王慰，趙玉瑋，吳木林，LUOFan，WANGWei，ZHAOYuwei，WUMulin

42.基于委托關系的軟件企業經營者精神激勵付文鋒，張金隆，李順國，FUWenfeng，ZHANGJinlong，LIShunguo

6.用于VR網上祭祀的智能虛擬化身Agent模型魏洪濤，陳煜

7.分布式煤礦水文監測系統的數據集成研究李存榮，熊萍

8.基于形態學的嵌入式零樹小波圖像編碼算法石云，曾中偉，汪麗麗，張素文

9.一類具有隨機遠程感染機制的SEIRS傳播模型李常菊，黃樟燦

10.面向BACnet協議的工控OPC服務器設計李春洋，周寧

11.基于還原保護的分布式病毒防御機制研究黃小龍，黃艾卿

12.遺傳算法求解巡回旅行商問題的最優參數組合羅旭，肖俊，李輝鵬

13.甚高頻數據傳輸電臺的混頻電路設計姜鳳嬌，趙樹平，高艷萍，祝開艷，曹立杰

14.超磁致伸縮材料特性測量的實驗設計高峰

15.一類非線性微分方程極限環的不存在性呂寶紅，龍品紅

16.BP神經網絡在發動機萬有特性中的應用顏伏伍，王洪建，田韶鵬，袁智軍

17.基于OpenGL的虛擬鋪放機建模及參數化驅動徐東亮，李東海

18.路面不平度的測量石鋒，段虎明，楊殿閣，張開斌，謝飛

19.液壓模塊式組合掛車轉向機構的矩陣變換算法鄧小禾，馬力，喬媛媛

20.客車氣動ABS控制電磁閥的性能分析與仿真涂鳴，李剛炎

21.含間隙的平面四桿機構運動特性分析吳煥芹，程強，鐘詩清

22.一種新的齒輪失效數控演示臺及其應用研究胡瑞，劉佐民，張一兵，王斌球

篇9

    論文摘要: 當點擴展函數未知或不確知的情況下, 從觀察到的退化圖像中恢復原始圖像的過程稱為圖像盲復原。近年來, 圖像盲復原算法得到了廣泛的研究。本文在介紹了盲圖像恢復算法的現狀的基礎上進一步研究其的發展方向。

    一、引言

    圖像恢復是圖像處理中的一大領域,有著廣泛的應用,正成為當前研究的熱點。圖像恢復的主要目的是使退化圖像經過一定的加工處理,去掉退化因素,以最大的保真度恢復成原來的圖像。傳統的圖像恢復假設圖像的降質模型是己知的。而許多情況下,圖像的降質模型未知或具有較少的先驗知識,必須進行所謂的盲恢復。其重要性和艱巨性而成為一個研究熱點。目前所能獲取的觀測圖像是真實圖像經過觀測系統成像的結果。由于觀測系統本身物理特性的限制,同時受觀測環境的影響,觀測圖像和真實圖像之間不可避免地存在著偏差和失真,稱觀測系統對真實圖像產生了降質。圖像恢復的目的就是根據降質的觀測圖像分析和計算得出真實圖像。

    二、圖像盲恢復算法的現狀

    總體來說, 圖像盲復原方法主要分為以下兩類: 一是首先利用真實圖像的特別特征估計PSF,然后借助估計得到的PSF,采用經典的圖像復原方法進行圖像的復原。這類方法將PSF的估計與圖像的復原過程分為2個不同的過程,因而具有較少計算量的特點;二是PSF辨識和真實圖像估計相結合,同時辨識PSF和真實圖像。這類算法較為復雜,計算量較大。另外,對于點擴展函數也考慮了空間變化的復雜情況。針對目前的盲復原算法的現狀,根據退化模型的特點, 重新將算法分為空間不變的單通道盲復原算法、空間不變多通道盲復原算法和空間變化圖像盲復原算法3類。

    (一)單通道空間不變圖像盲復原算法

    在這類算法中, 最為常用的是參數法和迭代法。

    1)參數法。所謂參數法, 即模型參數法, 就是將PSF和真實圖像用某一類模型加以描述, 但模型的參數需要進行辨識。在參數法中, 典型的有先驗模糊辨識法和ARMA 參數估計法, 前者先辨識PSF的模型參數,后辨識真實圖像, 屬于第1 種類型的圖像盲復原算法, 因而計算量較小;后者同時辨識PSF和真實圖像模型參數, 屬于第2種類型圖像盲復原算法。

    2)迭代法。所謂的迭代法, 不是通過建立模型而是通過算法的迭代過程, 加上有關真實圖像和PSF的約束來同時辨識PSF和真實圖像的方法。迭代法是單通道

    圖像盲復原算法中應用最廣泛的一類算法, 它不需建立模型, 也不要求PSF 為最小相位系統, 因而跟實際更為接近。在這類算法中, 迭代盲復原算法(IBD), 基于非負性和決策域的遞歸逆濾波器算法(NAR2R IF) ,基于高階統計特性的最小

    熵算法等最為典型。

    (二)多通道二維圖像盲復原

    多通道二維圖像盲復原, 這類方法將數字通訊領域應用的一維多通道盲原分離算法擴展到二維情況并用于圖像的盲恢復。這類算法中有兩種代數方法, 一種是先辨識模糊函數, 再采用常規的恢復算法進行復原;另一種是直接對逆濾波器進行估計。此類算法的優點在于不需對初始圖像進行估計, 也不存在穩定性和收斂性問題,對圖像以及模糊函數的約束是松弛的,算法具有一般性。但是第1種算法要求采用復原算法具有收斂性;第2種算法對噪聲敏感。

    (三)空間改變的圖像盲復原方法

    在許多實際的應用中, 模糊往往是空間變化的,但由于處理工作的難度, 目前的研究較少,基本有相關轉換恢復和直接法兩類。

    相關轉換恢復的基本思想是區域分割, 即將整幅圖像分為若干局部區域, 然后假設在各個局部區域模糊是空間不變的, 利用空間不變的圖像復原有關算法進行復原。這類方法都是基于窗口的模糊辨識技術, 圖像的估計取決于窗口的大小, 由于模糊參數是連續變化的, 在范圍較大時空間不變的假設是不成立的, 因而模糊的估計精度較差, 而且這種方法只能針對部分空間變化的模糊進行處理, 缺乏通用性; 其次在區域的邊上存在振鈴現象。

    直接法的基本思想是直接對圖像進行處理。如采用簡化的二維遞推卡爾曼濾波器進行圖像模型和模糊模型的直接轉換方法, 其缺點是只能針對有限的模型, 而且模型數增加, 計算量會顯著增大;采用共軛梯度迭代算法, 但只見到一個31×31 的文本圖像處理的結果報道,對于大圖像處理效果尚需進一步的研究;將空間變化圖像系統建立成馬爾苛夫隨機模型,對復原過程,采用模擬退火算法進行最大后驗估計的方法,這種方法避免了圖像的窗口化, 并能克服模糊參數不連續性造成的影響,但這種方法只能局限于將模糊過程建立成單參數的馬爾苛夫隨機模型的情況,而且計算量也較大。

    三、圖像盲恢復的應用前景

    (1)現有算法的改進以及新的算法研究。現有各種算法還存在許多不足,有必要對算法進一步改進。如IBD算法中, 如何選擇初始條件才能保證算法的收斂;如何選擇算法終止條件才能保證恢復的質量; 如何選擇濾波器中的噪聲參數才能減少噪聲的影響。又如NAR2R IF算法中, 如何進一步解決噪聲敏感問題,支持域的確定以及如何將算法擴展到非均勻背景的情況等。提出新的算法更好地解決圖像盲復原問題, 也是今后研究的熱點。

    (2)基于非線性退化模型的圖像盲復原算法。在實際應用中,嚴格來講,所有的退化模型都是非線性的。對模型采用線性化的方法進行近似處理,雖然算法簡單,但對非線性嚴重的情況處理效果并不理想。基于多項式以及神經網絡兩種參數模型處理非線性信號盲分離算法,算法擴展到二維圖像情況需要進一步研究。研究基于非線性退化模型的圖像盲復原算法也是下一步研究方向之一。

    (3)去噪處理算法研究。加性噪聲的存在,使圖像的復原問題變成了一個病態問題,而且由于一般假設只知道噪聲的統計特性,因此要從退化圖像中完全去除噪聲是不可能的。另外,由于噪聲的存在,恢復的效果并不理想,結合降噪的圖像盲恢復的算法研究有很現實的意義,這方面也進行了部分工作。為克服噪聲的影響,一般采用先進行降噪,后進行復原;二是將降噪和復原同時進行這兩類方法。目前,大多數算法中將噪聲描述成高斯噪聲進行研究, 在實際應用時有較大局限性。對于非高斯情況的研究采用基于噪聲的高階統計特性的去噪算法研究也是很重要的研究方向,也可采用其他類型的方法進行降噪,利用自組織映射的非線性獨立組件分析方法進行圖像降噪處理算法。

    (4)實時處理算法。算法的的復雜性是制約算法應用的一個重要方面?？刹捎谜齽t化的離散周期Radon變換的方法將二維的卷積轉化為一維進行處理,以提高算法的速度;也可采用神經網絡的實時處理算法。算法的實時性是算法實際應用的先決條件。

    (5)應用研究。算法的應用是推動算法研究的動力。雖然圖像盲復原算法在天文學、醫學、遙感等方面獲得了較大的應用, 但將算法應用到一般的工業圖像實時檢測、機器視覺、網絡環境下的圖像傳輸恢復、刑事偵破等方面還有大量的工作要做。

    參考文獻:

    [1] 薛梅,楊綠溪.用于含噪二值圖像的改進NAS-RIF圖像盲復原算[J].數據處理.2006.17.(2).

篇10

關鍵詞： 多機器人系統； 協同定位； 擴展卡爾曼濾波； 粒子濾波

中圖分類號： TN710?34； TP332.3 文獻標識碼： A 文章編號： 1004?373X（2013）23?0095?04

Multi?robots co?localization technique based on EKF and PF

TIAN Hong?bing1， FAN Guang?nan2， SONG Long2

（1. College of Computer and Communication， Lanzhou University of Technology， Lanzhou 730050， China；

2. College of Electrical and Information Engineering， Lanzhou University of Technology， Lanzhou 730050， China）

Abstract： The positioning capacity is a prerequisite to complete the tasks， no matter for single?robot or multi?robots systems. It is difficult for common location technique to meet the requirements of mobile robot groups in high co?localization accuracy and strong real?time. A hybrid location technique based on Extended Kalman Filter （EKF） and Particle Filter （PF） is proposed. The multi?robots are motion modeling， then the basic principle of robot co?localization based on EKF or PF and their advantages and disadvantages are discussed respectively. On this basis， another co?localization based on the combination of EKF and PF is proposed. The experiment result shows that this method is effectively in solving the contradiction between positioning accuracy and calculation under some condition. And when the initial condition is unknown or the errors is large， the multi?robots co?localization can also be rapidly and precisely.

Keywords： multi?robot system； co?operative localization； EKF； PF

0 引 言

隨著人工智能、計算機、傳感器等技術的不斷發展，移動機器人的研究及應用得到了前所未有的進步。多機器人的群體協作由于具有比單一機器人系統更高的工作效率、魯棒性、定位精度等優點而得到了廣泛的關注，其中多機器人的協同定位問題成為近年來機器人研究領域的一大熱點及難點。目前，機器人協同定位技術主要有：卡爾曼濾波、粒子濾波、最大似然估計、模糊邏輯、人工神經網絡[1]。這些定位方法的基本思想是：如何融合內部傳感器的測量信息和外部傳感器的觀測信息以減少過程誤差和傳感器的測量誤差，得到更精確的機器人位置信息[2]。它們都有一定的適應范圍，單一方法很難滿足多機器人系統的復雜工作環境。針對初始狀態未知或存在較大測量誤差的情況，本文提出EKF和PF相結合的定位方法，即先用PF使初始條件收斂到EKF的初始誤差允許范圍，再用EKF進行迭代濾波，以達到快速、精確協同定位的目的。

1 多機器人系統協同定位技術框架

多機器人系統的協同定位是指多機器人群體利用相互之間的觀測信息，在未知環境中互為路標，并通過信息交換，共享各個機器人獲得的自身和環境測量信息，得到比單個機器人自身定位更精確的位姿估計[3]，其技術框架如圖1所示。

單個機器人通常會配備多個內部和外部傳感器以獲取自身參數信息和周圍環境信息。從圖1可以看出，機器人的傳感器信息經過濾波等預處理后，得到兩種不同性質的定位信息：自身位姿信息和相對觀測信息。然后運用EKF、PF等技術進行第二級的融合，最終實現協同定位。

圖1 多機器人系統協同定位技術框架

2 機器人系統運動模型和觀測模型

為進行機器人協同定位，首先需要建立機器人的運動模型和傳感器的觀測模型[3]。機器人的運動模型因其機動性設計的變化而有所不同。不失一般性，下面以二維平面內兩輪機器人為例，介紹機器人運動模型和觀測模型，并利用該模型進行各算法分析。

2.1 運動模型

如圖2，圖3所示，假設機器人在圖中[A]點的位姿[（xk，yk，φk）]，運動到[B]點后的位姿變為[（xk+1，yk+1，φk+1），][φ]是機器人前進方向與[X]軸的夾角，[s1k，][s2k]是本次采樣期間機器人左右輪運動的距離，[d]為兩輪間距。移動機器人的運動模型建立過程如下：

圖2 機器人運動的幾何模型

圖3 單個采樣周期內機器人的運動形式

Step 1：以[A]點建立坐標系，求[B]點位姿[（Δx，Δy，Δφ）]，有：

[Δx=-0.5（s1k+s2k）sin（Δφ2）Δy=0.5（s1k+s2k）cos（Δφ2）Δφ=2arcsin[（s1k-s2k）4d]] （1）

Step 2：將上一步得到的位姿變換到圖3坐標系中，有：

[xk+1yk+1=xkyk+sinφksinφk-cosφksinφkΔxΔyφk+1=φk+Δφ≈φk+（s2k-s1k）2d] （2）

Step 3：將式（1）代入式（2），可得到機器人的運動方程如下：

[xk+1=xk+0.5（s1k+s2k）cos（φk+（s2k-s1k）4d）yk+1=yk+0.5（s1k+s2k）sin（φk+（s2k-s1k）4d）φk+1=φk+（s2k-s1k）2d] （3）

Step 4：令狀態變量[Xk=（xk，yk，φk）T，][Uk=（s1k，s2k）T，]則上述式（3）方程組可化為如下非線性函數形式：

[Xk+1=f（Xk，Uk）] （4）

2.2 觀測模型

圖4所示為某時刻機器人[i，j]進行相對觀測的結果。其中[Dij]是相對距離，[α]是機器人[j]相對[i]的方向角，[β]是[i]相對[j]的方位角，統稱為觀測信息。相對觀測信息與機器人自身位姿信息的數量關系稱為觀測模型，其具體關系如下：

[Zi=h（Xi，Yj）?Dij=（xj-xi）2+（yj-yi）2α=arctan（yj-yi）（xj-xi）-φi] （5）

其中觀測變量[Zi]=[（Dij，α）T，]同理可得[Zj。]

圖4 相對觀測模型

3 擴展卡爾曼濾波

3.1 基本原理

對于線性系統而言， 卡爾曼濾波器是一個統計意義上最優的狀態估計。機器人的運動和觀測形式都是非線性的，所以可用擴展卡爾曼濾波[4?5]進行自身位姿信息和觀測信息的融合。EKF求解過程如下：

Step 1：線性化即求解各方程的雅克比矩陣。

[Φk=?f（Xk，Uk）?Xk] （6）

[Rk=?f（Xk，Uk）?Uk] （7）

[Hik=?h（Xik，Xjk）?Xik] （8）

Step 2：預測。

狀態預測：

[Xk+1=f（Xk|k，Uk）] （9）

方差預測：

[Pk+1|k=Φk?Pk|k?ΦTk+Rk?Q?ΦTk] （10）

觀測量預測：

[Z=h（X（i）k+1|k，X（j）k+1|k）] （11）

Step 3：更新濾波參數。

卡爾曼增益：

[K=Pk+1|k?Hik?（HTik?Pk+1|k?Hik+ρ）-1] （12）

狀態更新：

[Xk+1|k+1=Xk+1|k+K?（Z-Z）] （13）

方差更新：

[Pk+1|k+1=（1-K?HTik）?Pk+1|k] （14）

重復Step 2和Step 3直至估計值與真實值十分接近或相等。其中，[Q]和[ρ]分別為碼盤誤差和觀測誤差的方差，且初始狀態和協方差已知。

3.2 算法的優缺點

擴展卡爾曼濾波是一個不斷預測、修正的遞推過程，其在求解時不需存儲大量的觀測數據，只是利用新的觀測數據隨時更新濾波參數，因此其便于實時處理觀測結果。

由式（5）所示的觀測模型方程知，當[ΔyΔx=][（yj-yi）（xj-xi）±∞]時，對應[arctan（yj-yi）（xj-xi）][±π2。]這意味著盡管兩個機器人之間距離[Δx]非常小，由于定位誤差的影響，當前時刻的[Δx]與前一時刻的[Δx]可能會發生符號的改變， 而[Δy]則較大或保持在一定的范圍，其符號不變，從而導致了相對方向角[α]的跳變， 使相對方位的預測出現較大的誤差，濾波出現發散情況，影響了定位的魯棒性和可靠性。

4 粒子濾波

4.1 基本原理

粒子濾波器[6?8]的主要思想是利用一組帶有權重的采樣來表示系統狀態的后驗概率分布。粒子濾波器的結構示意圖如圖5所示。

圖5 粒子濾波器PF的結構示意圖

圖5中的重采樣是為了解決標準粒子濾波出現的粒子退化問題。重要性采樣所需重要性密度函數的選擇對粒子濾波至關重要。選取不同的重要性密度函數會產生不同的粒子濾波器如標準粒子濾波，高斯?斯密特、輔助、正則化等改進粒子濾波算法。

4.2 算法的優缺點

PF可以很好地表示非線性、非高斯模型，是解決及時定位和地圖構建的有效手段，被認為是實現真正全自主移動機器人的關鍵 。

但是該算法仍然存在著一些問題，其中最主要的問題是依賴大量的樣本數據才能很好地近似系統的后驗概率密度，計算量大、效率不高。

5 EKF?PF混合定位

5.1 理論準備

綜上可知，基于EKF和PF的協同定位方法有各自優勢，但也各有不足。因此提出了基于EKF和PF相結合的協同定位方法。該混合定位方法步驟如下：

Step 1：初始化及預處理。初始化工作主要有完成PF、EKF所需的參數設置，然后作濾波去噪、放縮、限幅等預處理操作。

Step 2：使用PF算法直至初始條件收斂到滿足EKF算法的初始誤差范圍。其中PF算法可根據情況選擇一定的改進型粒子濾波算法。

Step 3：當初始誤差滿足EKF要求后，啟用EKF濾波進行狀態估計及更新，調整各機器人位姿，最終實現多機器人系統的協同定位。其中，EKF和PF的具體設計參照第3、4節。

理論上，上述混合定位方法可獲得EKF和PF兩者的優勢，同時克服了兩者的不足，在精確定位的同時使運算量減少，從而提高定位效率。

5.2 仿真結果與分析

為驗證上述混合定位方法的優越性，進行以下仿真實驗。選用了兩個雙輪機器人小車模型，其內外部傳感器的數據采樣頻率為10 Hz和1 Hz，機器人小車寬0.7 m，以1 m/s的速度分別向東和向北運動，初始位姿分別為（5，0，0）、（0，5，[π2]）。分別采用上述三種算法進行協同定位狀態估計。以單次實驗數據為例，運用Matlab軟件作出不同情況下兩機器人小車的運動軌跡及協同定位誤差[ρ]（偏離真實位置的距離）如圖6，圖7所示。

由仿真結果可以看出，這三種協同定位方法均能在一定程度上改善定位性能。單獨EKF算法在某些情況下會產生濾波發散；單獨PF算法雖最終能使估計值收斂到真實值，但所花時間較長，計算量較大；而基于EKF和PF的混合定位算法能更快、更接近機器人的真實運動，更好地實現協同定位。

圖6 兩個機器人的運動軌跡估計

圖7 機器人定位誤差對比

6 結 論

實驗結果表明，基于EKF和PF的混合協同定位能得到比常用定位方法更精確的機器人定位信息，且速度更快。下一步將把上述算法運用到實體機器人上，以測試其在多機器人協同定位中的實際效果。該技術對未來的多機器人環境檢測、編隊協作等研究有重要參考價值。

參考文獻

[1] 郭戈，胡征峰，董江輝.移動機器人導航與定位技術[J].微計算機信息，2003（8）：10?11.

[2] 邵金鑫.基于多傳感器信息融合的多機器人協同定位技術研究[D].長沙：國防科技大學，2006.

[3] 劉顯榮.傳感器融合在多機器人合作定位中的應用[J].科技通報，2005（2）：277?281.

[4] 付夢印，鄧志紅，張繼偉.Kalman濾波理論及其在導航系統中的應用[M].北京：科學出版社，2003.

[5] TESLI? L， ?KRJANC I， KLAN?AR G. EKF?based localization of a wheeled mobile robot in structured environment [J]. Journal of Intelligent and Robotic Systems， 2011， 62（2）： 187?203.

[6] 周翟和，劉建業，賴際舟.粒子濾波的改進優化算法在組合導航系統中的應用[J].中國慣性技術學報，2010（6）：711?715.

[7] 張淼，胡建旺，周云峰，等.改進粒子濾波算法的比較[J].電光與控制，2009（2）：30?32.

[8] 張弦.基于改進粒子濾波算法的移動機器人定位[D].北京：北京郵電大學，2010.

[9] 張詩桂，朱立新，趙義正.粒子濾波算法研究進展與展望[J].自動化技術與應用，2010（6）：1?9.

[10] 王炎慶.基于卡爾曼濾波器的神經元干細胞序列圖像中活躍細胞的追蹤[D].哈爾濱：哈爾濱工程大學，2010.

作者簡介：田紅兵 男，1976年出生，湖北孝感人，碩士，工程師。主要研究方向為嵌入式系統及計算機軟件應用。