大數(shù)據(jù)技術(shù)的計算機網(wǎng)絡(luò)安全問題分析

導(dǎo)語：大數(shù)據(jù)技術(shù)的計算機網(wǎng)絡(luò)安全問題分析一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

隨著科學(xué)技術(shù)發(fā)展以及互聯(lián)網(wǎng)技術(shù)廣泛應(yīng)用，整個互聯(lián)網(wǎng)絡(luò)環(huán)境更加多樣靈活，計算機網(wǎng)絡(luò)安全就顯得尤為重要，其中最為重要的就是對計算機網(wǎng)絡(luò)安全進行分析，只有進行準確快速的分析，才能及早對未知的網(wǎng)絡(luò)攻擊進行防御，從而減少不必要的損失。

1大數(shù)據(jù)技術(shù)的應(yīng)用背景

1.1大數(shù)據(jù)技術(shù)的概念大數(shù)據(jù)技術(shù)是采用分布式系統(tǒng)對采用常規(guī)數(shù)據(jù)處理方法無法處理的超大數(shù)據(jù)集進行處理的技術(shù)，常用的大數(shù)據(jù)技術(shù)有Spark、Hadoop以及MapReduce。大數(shù)據(jù)技術(shù)主要的目的是挖掘這些數(shù)據(jù)集背后隱藏的信息，通過機器學(xué)習(xí)的方法以產(chǎn)生商業(yè)價值。

1.2大數(shù)據(jù)技術(shù)的作用大數(shù)據(jù)技術(shù)主要包括數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)清洗、數(shù)據(jù)挖掘以及基于數(shù)據(jù)模型的構(gòu)建。其中數(shù)據(jù)的采集是主要包括兩方面，一方面是利用網(wǎng)絡(luò)爬蟲采集互聯(lián)網(wǎng)上的數(shù)據(jù)，如管理信息、Web信息；另一方面是利用各種類型的傳感器采集各種工業(yè)數(shù)據(jù)。數(shù)據(jù)存儲是按照指定的格式對采集到的數(shù)據(jù)進行存儲，如物理信息、實驗信息。數(shù)據(jù)清洗是對采集到的有缺陷的數(shù)據(jù)進行篩選和處理，保證其結(jié)構(gòu)的完整性。數(shù)據(jù)挖掘是利用機器學(xué)習(xí)方法挖掘數(shù)據(jù)背后隱藏的信息。數(shù)據(jù)模型的構(gòu)建是利用采集到的數(shù)據(jù)建立模型進行各種預(yù)測。大數(shù)據(jù)技術(shù)有諸多應(yīng)用，如利用大數(shù)據(jù)技術(shù)可以構(gòu)建銀行的信用卡欺詐檢測模型，或構(gòu)建產(chǎn)品推薦系統(tǒng)，還可以利用大數(shù)據(jù)技術(shù)進行金融風險評估或進行基因信息分析。

2網(wǎng)絡(luò)安全分析技術(shù)

2.1計算機網(wǎng)絡(luò)安全分析的作用網(wǎng)絡(luò)安全分析是通過對網(wǎng)絡(luò)的安全日志、流量、用戶方位、業(yè)務(wù)行為等信息進行采集、存儲和數(shù)據(jù)分析，從而發(fā)現(xiàn)網(wǎng)絡(luò)中的漏洞、網(wǎng)絡(luò)攻擊、網(wǎng)絡(luò)信息竊取等已知和未知的安全威脅，并能夠?qū)W(wǎng)絡(luò)上的不安全因素進行風險識別和風險定位。通過網(wǎng)絡(luò)的安全分析結(jié)果為維護網(wǎng)絡(luò)的安全與穩(wěn)定奠定基礎(chǔ)，因此網(wǎng)絡(luò)安全分析是保障網(wǎng)絡(luò)安全正常運行的關(guān)鍵步驟。

2.2計算機網(wǎng)絡(luò)安全分析技術(shù)的現(xiàn)狀當前主要的網(wǎng)絡(luò)安全分析技術(shù)為網(wǎng)絡(luò)全流量分析技術(shù)，任何網(wǎng)絡(luò)攻擊都會留下網(wǎng)絡(luò)痕跡，而且網(wǎng)絡(luò)攻擊產(chǎn)生的網(wǎng)絡(luò)數(shù)據(jù)通常與正常流量網(wǎng)站產(chǎn)生的數(shù)據(jù)往往不同，因此通過對網(wǎng)絡(luò)痕跡的分析進而感知網(wǎng)絡(luò)的威脅并及時快速響應(yīng)制止網(wǎng)絡(luò)攻擊，最后對網(wǎng)絡(luò)攻擊取證進行責任判定。然而隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)攻擊形式也是多種多樣，單純依靠網(wǎng)絡(luò)全流量分析技術(shù)已經(jīng)無法滿足各種大型互聯(lián)網(wǎng)公司對網(wǎng)絡(luò)安全的需求，因此迫切需要一種變革的智能化網(wǎng)絡(luò)安全分析技術(shù)，自動識別各種各樣的網(wǎng)絡(luò)攻擊并具有自適應(yīng)防護功能。

3大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

網(wǎng)絡(luò)安全分析涉及對網(wǎng)絡(luò)信息的信息采集、存儲和數(shù)據(jù)分析，而大數(shù)據(jù)技術(shù)也涉及到數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)清洗、數(shù)據(jù)挖掘以及基于數(shù)據(jù)模型的構(gòu)建。由于兩者的模式特別接近，所以可以將大數(shù)據(jù)技術(shù)引入到網(wǎng)絡(luò)安全分析中，以此提高網(wǎng)絡(luò)安全分析的效率和準確度。本文以互聯(lián)網(wǎng)公司為例對大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用進行論述。

3.1基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)信息采集每個互聯(lián)網(wǎng)公司每天都會產(chǎn)生大量的安全日志、流量、用戶方位、業(yè)務(wù)行為等信息，我們可以將每臺通信設(shè)備作為一個數(shù)據(jù)節(jié)點，整個公司所有的通信設(shè)備作為一個集群，采用Flume日志收集系統(tǒng)、Scribe分布式日志收集系統(tǒng)等進行安全日志、流量、用戶方位、業(yè)務(wù)行為等信息的采集。Flume日志收集系統(tǒng)具有流式數(shù)據(jù)方式的特點，而且具有故障轉(zhuǎn)移與故障恢復(fù)的能力，因此更加安全。Scribe分布式日志收集系統(tǒng)可以采用分布式方式，具有較強的容錯能力，因此可以更加高效地收集數(shù)據(jù)。

3.2基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)信息存儲傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)量較大，一般都存儲在硬盤當中，雖然磁盤的容量在穩(wěn)步增加，但是磁盤的讀取速度卻沒有與時俱進。磁盤中數(shù)據(jù)量大而讀取效率低，將會導(dǎo)致整個網(wǎng)絡(luò)安全數(shù)據(jù)分析效率低下。由于網(wǎng)絡(luò)安全分析必須具有快速實時性，這樣網(wǎng)絡(luò)才能進行快速響應(yīng)維護網(wǎng)絡(luò)安全，否者分析出的數(shù)據(jù)沒有任何的價值。因此，利用Hadoop大數(shù)據(jù)技術(shù)中的HDFS以及YARN分布式文件系統(tǒng)對數(shù)據(jù)進行存儲后，可以大大加快數(shù)據(jù)的讀取速度，從而提高整個網(wǎng)絡(luò)安全分析的效率，滿足實時性的要求。

3.3基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)信息處理分析互聯(lián)網(wǎng)上產(chǎn)生的安全日志、流量、用戶方位、業(yè)務(wù)行為等信息的背后隱藏著各種各樣的有價值信息，網(wǎng)絡(luò)安全分析可以通過對這些數(shù)據(jù)進行分析從而得知網(wǎng)絡(luò)的安全狀況，進而采取措施保證網(wǎng)絡(luò)的安全。大數(shù)據(jù)技術(shù)中的MapReduce是一種用于數(shù)據(jù)處理的編程模型，可以進行大規(guī)模的數(shù)據(jù)集處理，效率非常高效。由于各個用戶的訪問信息是獨立的，因此可以采用MapReduce網(wǎng)絡(luò)模型框架進行編程進而進行數(shù)據(jù)分析。首先，將存儲的數(shù)據(jù)利用HDFS分布式系統(tǒng)發(fā)送到各個網(wǎng)絡(luò)節(jié)點，各個節(jié)點組成一個集群，然后將數(shù)據(jù)的處理過程按照MapReduce框架轉(zhuǎn)化為Map階段和Reduce階段進行處理。利用MapReduce框架我們不但可以進行數(shù)據(jù)的篩選，去掉一些不完整的數(shù)據(jù)或完善數(shù)據(jù)集，以避免數(shù)據(jù)集質(zhì)量問題給網(wǎng)絡(luò)安全分析造成錯誤或不好的分析結(jié)果。同時，我們還可以利用MapReduce將預(yù)處理后的數(shù)據(jù)集采用機器學(xué)習(xí)的方法進行數(shù)據(jù)分析，挖掘出數(shù)據(jù)背后的價值建立預(yù)測模型，從而準確地進行網(wǎng)絡(luò)安全分析。由于機器學(xué)習(xí)具有較好的泛化性能，因此可以應(yīng)對各種各樣的網(wǎng)絡(luò)攻擊。

4總結(jié)

本文通過對大數(shù)據(jù)技術(shù)的作用和優(yōu)點進行介紹，然后對當前網(wǎng)絡(luò)安全分析存在的問題進行分析，最后引出將大數(shù)據(jù)技術(shù)的優(yōu)點引入到計算機網(wǎng)絡(luò)安全分析中，并分別從基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)信息采集、存儲和處理分析方面進行論述，以提高計算機網(wǎng)絡(luò)安全分析技術(shù)的效率和準確度。

參考文獻

[1]肖占軍,趙志杰,吳寶明.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全分析系統(tǒng)構(gòu)建問題研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用,2019(03):47.

[2]包利軍.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺在專網(wǎng)領(lǐng)域的應(yīng)用[J].信息安全研究,2019,5(02):168-175.

作者:沈振華 單位:中央網(wǎng)信辦