統計學習與人工神經網絡研究

導語：統計學習與人工神經網絡研究一文來源于網友上傳，不代表本站觀點，若需要原創文章可咨詢客服老師，歡迎參考。

摘要：統計學習方法和人工神經網絡都是在數據分類任務中的使用的模型。本文從技術的角度上總結分析這些模型的相同點與不同點，提供對這些模型分類性能的客觀分析。最后本文對如何更好地提升統計學習和人工神經網絡的分類性能進行分析總結。

關鍵詞：機器學習；神經網絡；人工智能

1引言

預測模型在各種領域被用于分析和預測。預測模型都是從真實的數據樣本中建立的，這些樣本數據可以根據一系列規則進行預處理和轉格式，普遍用于基于知識的專家系統，或者作為統計和機器學習的訓練數據集。目前在機器學習中較受歡迎的是統計學習方法[1-3]和人工神經網路[4,5]。雖然這兩種模型分別來自于統計學和計算機學，但同時也具有一定的相似性。在本文我們給出了統計學習方法和人工神經網絡的在模式統計識別中共同點，并且說明為何神經網絡可以看做是統計學習的總結。目前預測模型算法已經有不少現成的實現，既有免費的也有商業的軟件可用于測試。通過測試發現所獲取的結果主要依賴于三個因素：模型構建的數據集的質量、所調整的模型參數和用于計算模型處理結果的評價標準。在總結中，我們指出判斷這些預測模型測試結果的好壞所影響的因素。

2統計學習中的典型算法

支持向量機和k近鄰都是統計學習中的典型算法。支持向量機是從統計學習理論思想的一種實現，其工作是從數據集中建立具有一致性的評價器。支持向量機關系的問題是：一個模型如何根據僅僅給出的特征集和訓練數據集在未知的數據集中進行預測？在算法上，支持向量機通過解決約束二次優化問題在數據集中建立最佳的分界線。通過使用不同的核心函數，可以使模型包含不同程度的非線性和靈活性。因為他們可以從不同的高級統計思想中衍生出來，并且在模型計算時不會出現統計錯誤，因此支持向量機在過去的幾年都引起了大量的研究者的興趣。支持向量機的劣勢在于分類的是純粹的二分法，不會給出潛在的其他類別。K近鄰算法與其他方法不同的是k近鄰算法把數據直接用于分類，而且并不需要預先構建模型。這樣便不需要考慮模型構建的細節，并且在算法中需要考慮調整的參數只有k，其中k是在評估類別時候需要包含的近鄰的數量：p(y|x)的計算值是在x的k近鄰中屬于y類別的成員數量的比值。通過改變k，模型的靈活性可以相對提高和降低。k近鄰與其他算法相比的優勢在于近鄰可以提供分類結果的解釋，在黑盒模型不足的時，這種基于實例的解釋更具有優勢。而k近鄰的主要缺點在于近鄰的計算中：為了計算近鄰需要定義一個量度計算不同原子數據之間的距離。在大部分應用領域中，如何這種方式定義的量度并不清晰，只能通過嘗試和失敗，根據相對重要的并不確定是否能反應量度的數據來定義量度。

3人工神經網絡與統計學習的對比總結

神經網絡與統計學習方法不同的是神經網絡需要進行模型的計算。神經網絡的主要識別過程包括兩個：訓練模型和根據模型進行預測。與其他機器學習方法不同的是，神經網絡具有非常特別的結構，在這個結構中，有輸入層、輸出層和至少一個隱藏層。但與其他機器學習方法一樣的是：構建模型的目的都是找出其參數的最佳值。絕大部分機器學習的算法都是使用梯度下降法把損失函數的結果最小化并且在每次迭代的過程都能找到更合適的參數值。神經網絡最重要的組成部分是“神經元”，每個神經元可以看做是一個函數，可以向神經元輸入數據，神經元會輸出相應結果，神經網絡往往具有眾多神經元。一種特殊情況是，當人工神經網絡只有一個“神經元”，在這種情況下，神經網絡與邏輯回歸算法是一樣的。

在應用上，神經網絡往往用于多類別分類問題，例如給圖片根據數字、字母、人物、汽車等等進行分類。而上述的支持向量機和k近鄰算法都只能進行二值分類。

參考文獻：

[1]HearstMA,DumaisST,OsunaE,etal.Supportvectormachines[J].IEEEIntelligentSystemsandtheirapplications,1998,13(4):18-28.

[2]TaravatA,DelFrateF,CornaroC,etal.Neuralnetworksandsupportvectormachinealgorithmsforautomaticcloudclassificationofwhole-skyground-basedimages[J].IEEEGeoscienceandremotesensingletters,2015,12(3):666-670.

[3]WeinbergerKQ,BlitzerJ,SaulLK.Distancemetriclearningforlargemarginnearestneighborclassification[C]//Advancesinneuralinformationprocessingsystems.2006:1473-1480.

[4]WanEA.Neuralnetworkclassification:ABayesianinterpretation[J].IEEETransactionsonNeuralNetworks,1990,1(4):303-305.

[5]ZengD,LiuK,LaiS,etal.Relationclassificationviaconvolutionaldeepneuralnetwork[C]//ProceedingsofCOLING2014,the25thInternationalConferenceonComputationalLinguistics:TechnicalPapers.2014:2335-2344.

作者:李杰駿 單位:江門職業技術學院