大數據時代的定義范文
時間:2024-01-03 17:39:28
導語:如何才能寫好一篇大數據時代的定義,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公務員之家整理的十篇范文,供你借鑒。
篇1
【關鍵詞】大數據; 管理決策; 影響; 企業
引言
隨著市場經濟全球化,各國經濟不斷融合,各國之間的市場經濟間都存在著激烈的競爭,隨之帶來的是各企業之間的強力競爭。這不僅是企業間的經濟競爭,更是企業管理者間的能力競爭。這就要求決策者根據當前市場形勢分析復雜的行業環境,做出正確的決策。大數據作為網絡時代背景下的一次企業技術革命改革,正確地理解大數據的意義及內涵,有利于企業管理者針對企業特征,利用企業優勢做出正確有效的管理決策,促進企業發展。
一、對大數據定義及其特征理解
1.大數據的定義。
對于大數據的理解,不同的機構給出的定義略有不同,麥肯錫全球研究所指出:所謂大數據,是數據規模龐大,遠遠超出傳統數據軟件對數據獲取、儲存、管理、分析等方面的要求的一種數據集合。據有四大特征分別為:數據規模海量、數據流轉快速、數據類型多樣、價值密度低。而專業研究機構Gartner給出的定義則是:大數據是一種適應海量、高增長率、多樣化信息資產的具有更強決策力、洞察發現力和流程優化能力的處理模式。對于大數據的應用,其意義不在于掌握龐大的數據信息,而是對海量數據進行專業化處理后理解分析,大數據更注重對信息的處理能及,及處理后帶來的實際化效益。如果對不同的大數據定義進行整理分析,可發現,這些定義都是在大數據本身具有的特征上形成的,并且多在強調現有技術手段對海量數據進行處理的困難性。且這些定義所關注重點更多的為其價值性。所以,大部分學者認為大數據的意義并不在于數據本身,更多的是作為基礎性資源。企業采集、儲存、使用大數據的能力,才是大數據是否具有商業價值的關鍵。
2.大數據的特征。
目前各學術領域對大數據的理解很多樣化,對于定義還并沒有一個嚴格的說法。但不難看出,大數據首要特征就是其數據信息龐大,海量化。就一般情況來說,普通大數據集合最少以TB為儲存單位,更有甚者,大數據以PB為儲存單位。在經濟飛速發展的今天,幾PB甚至十幾PB的大數據信息并不罕見。例如目前世界最大的連鎖零售超市,沃爾瑪公司。其數據信息早在2010年就達到了2500TB。其次大數據的特征就是其數據流轉快速。隨著社會經濟發展,科學進步,數據信息的產生趨于海量化。隨著通訊技術和網絡的不斷發展,對巨型數據的處理上邁向高速化?;ヂ摼W、云計算等網絡的發展還有智能移動通訊設備的進步及普及,很大程度上促進加速了數據的產生與流轉。除此之外,大數據還具有多樣化的特征。在當今社會形勢下形成的數據信息領域,其數據樣式往往有多種形態存在。大數據的多樣化致使大數據主要成為兩大分類,即數據化結構和非數據化結構。所謂結構化數據,是在正常產業運行企業交易過程中產生的,結構化數據的處理,根據特定的數據處理方式將數據處理后進行儲存記錄,以便于日后應用及分析。而非結構化數據是根據互聯網海量點擊量,和大量的圖片文字的傳輸和射頻識別技術的發展產生的。這類數據主要產生于人與人之間,人與機器之間,或機器與機器之間。
二、大數據影響企業管理決策
決策是一個企業是否正確發展的關鍵,一個決策的產生,要經過資料收集,計劃制定等多個階段。一個企業的管理決策,涵蓋了企業發展的戰略性決策,又包括著戰略性決策如何具體實施的小的決策。這種和決策不僅在企業未來和環境方面進行預測,也對企業的內部資源進行調配。決策作為一種極具動態性和復雜性的一種管理行為,面對著收集信息,對信息進行篩選,解決各類信息沖突的作用。日益成熟的大數據下,各種信息的劇烈碰撞對當前企業決策影響巨大。其影響不僅覆蓋企業決策的主體,也影響企業思維模式組織結構等方面。
1.決策主體受大數據影響。
決策的產生受企業文化、組織、前景等多方面影響,但最終結果就其核心還歸根于決策的制定者。一個企業的決策主體主要分為兩類,一類是企業的高層管理者,其所處位置與擁有的權限能讓高層管理者在決策中發揮至關重要的作用。另一類是普通員工或者是交基層的管理者,對于這類決策主體來說,他們雖然沒有擁有絕對性的決策作用,但他們所創造的產品、服務、管理等更加基礎,更貼近市場,符合社會需求。在普通員工創造服務產品的過程中,可以主動與客戶交流,引導其參與產品的設計,使產品更加符合客戶需求。并且在產品生產上市的過程中不斷與客戶交流,根據反饋信息對產品加以改進等,由此幫助企業快速正確發展。
在經濟全球化,全球網絡化的時代,各產業之間的交叉越來越多,之間的界限也越來越模糊。大數據的出現,使企業傳統模式的決策主體由高層管理者向基層管理者甚至普通工轉變,優秀的表現突出的員工有機會參與企業決策,企業決策主體多樣化。另一方面,從企業決策的信息來源分析,網絡的快速發展,信息大爆炸時代致使普通民眾也可以為企業出謀劃策,成為企業決策的主體,這也表示企業決策主體普遍化,由企業高層精英像普通民眾發展。
2.企業決策權力受大數據的影響。
大數據下的企業決策,不僅在決策主體上發生了變化,在企業決策權的分配上,及決策權力的大小方面都有所改變。企業決策權力的配置方面主要發生以下幾點變化。企業各組織之間的決策權分配,組織與外部因地的決策權分配,還有就是組織內部團隊之間的決策權分配。除此之外決策權力大小的分配上決定了企業決策權利集中制或是分散制。集中制的決策權說明企業高層掌握著企業大多數的決策權力,分散式的決策主要是只決策權部分下放到基層管理者手中,每個部門都具有一定程度的決策權利。
傳統的企業決策權力,更多的是集中制的決策形式,這種形式具有企業決策片面不全方位的弊端。網絡飛速發展,大數據化的情況下,企業不僅從專業渠道獲取數據,數據的多樣化使得集中式的權力分配方式不能全面打開企業市場。而信息多元化的獲取,可以使基層管理者有一個全局性的視野,更好的對企業做出決策。故而類似金字塔形的至高權利分配方式趨于平均化。企業的權力配置順應時展,普通員工具有決策權將是大數據背景下權力分配發展的主要方向。
3.管理決策思維方式受大數據的影響。
決策者的思維方式作為企業決策的一個重要組成因素,從根本上影響著一個決策的方向。決策時依據的數據方向不同,且不同的思維方式,會產生不同的決策結果。并且在決策的部分細節制定中,這種不同也會顯現出來。大數據時代背景下,決策就應該全方位的應用大數據所帶來的優勢,系統的、全方位的、準確的收集信息,系統的利用數學建模等專業方式對大量數據進行分析,深度挖掘有關決策的各方面信息。傳統的決策方式更多的是利用決策主體的經驗,直覺對當前市場發展形勢做出下一步規劃。然而大數據背景下,產生的新的決策模式將會改變中“感覺”上的決策。根據大數據提供的資料與分析,全方位科學的對企業下一步進行決策。
4.決策文化受大數據的影響。
人在成長過程中所受地域不同,文化環境不同,從而形成不同的情感傾向。決策主體在制定決策過程中,如確定目標、設計試試方案的同時都會潛意識的摻雜個人情感傾向。傳統的決策方法數據分析不如大數據時代下信息基礎龐大。主要取決于決策主體對企業內外的測評與市場評估,主觀性較強,因決策本身存在一定的風險,故而管理者任何影響決策的文化背景都有可能給決策帶來不同的困難。大數據時代下,為了避免某些主觀因素產生的錯誤,利用日益成熟的大數據分析技術,和龐大的數據體系帶來的信息,理性、準確、科學的為企業決策做出更為精準的判斷。更有學者指出,企業的決策者應對相關關系加大關注度,而不是過分的在意因果關系。也僅是說決策者應該將企業發展決策側重于充分利用現代科技技術與現有數據充分發揮自身價值,而不是過分關注企業決策者思維方向。
三、大數據在企業決策中產生的問題
大數據時代的臨近,給企業帶來了很多好處,但與此同時也有許多問題隨之產生。并且很多方面的因素都影響著管理數據和大數據之間的關系。首先在數據隱私性和知識產權方面,雖然大數據對各企業決策等方面都非常重要。隨著大數據的有點背人們日益挖掘,各類數據的價值被人們日益關注,更多的數據趨于便捷化、數字化,且在各種企業中被重復利用。信息時代的數據可復制,反復利用,更大程度上存在數據外泄的情況,更有企業在收集數據時面臨知識產權,隱私保密方面的問題,這將是企業大數據形式下需要克服的困難。其次,大數據的優點不在于其數據龐大,更在于龐大的數據下經過分析給企業帶來的價值。很多企業對數據分析不徹底,沒有深度挖掘大數據帶來的價值,使數據顯得雞肋,大有使之無味棄之可惜的意思。大數據還由于數據信息龐大,現有技術處理起來較困難的問題,所以運用大容量大速率的數據處理工具也成為企業決策成敗的關鍵因素。企業應該著重致力于技術技能的發展創新,高效利用大數據給企業帶來的優勢。
四、總結
在大數據的背景下,企業所面對的環境每時每秒都發生著變化。此種環境下企業若想在社會中站穩腳跟,得到發展。就必須正視大數據對企業決策管理的產生的影響。合理運用大數據,能使企業在決策管理等多方面做出正確選擇,為企業決策發展等提供了新思路和方向,提升企業的社會競爭力促使企業發展壯大。
參考文獻
[1]王兵,池云. 大數據對企業數據管理和管理決策的影響分析[J]. 通訊世界,2016,05:227.
[2]崔雙吉. 大數據視域下的企業管理決策影響探究[J]. 中國管理信息化,2016,06:61-62.
[3]丁先宏. 互聯網“大數據”視域下的企業人力資源管理的思考[J]. 現代經濟信息,2016,07:55.
[4]閆巍. 網絡時代背景下大數據對企業管理決策的影響探究[J]. 時代金融,2016,17:110+116.
篇2
[關鍵詞]大數據 安全風險 保障策略
中圖分類號:TP309 文獻標識碼:A 文章編號:1009-914X(2015)05-0269-01
0 引言
近年來,隨著云計算、物聯網、移動網絡的快速發展,全球數據量出現了巨幅增長,這種數據量大到超出傳統數據處理方法所能捕獲和管理的能力,于是產生了“大數據”。一方面,通過數據挖掘和智能分析,決策者能從大數據中發現知識、規律和趨勢;另一方面,大數據的發展將進一步擴大信息開放程度,個人隱私或敏感信息的泄露時有發生。面對現階段大數據發展的特征和面臨的風險,如何保障大數據安全具有重要意義。
1 大數據的定義
當前,對于大數據尚無一個統一、明確的定義。按照維基百科的定義,大數據是指所涉及的數據量規模巨大到無法通過目前現有數據庫管理工具,在合理時間內達到管理、截取、處理、并整理成為幫助企業經營決策更積極目的的信息。美國知名咨詢公司麥肯錫在專題研究報告中稱:大數據指的是大小超出常規的數據庫工具獲取、存儲、管理和分析能力的數據集。
2 大數據的特征
從定義可以提取出大數據“4V”的特征,即Volume(海量化)、Variety(多樣化)、Velocity(快速化)和Value(價值價值大)。
2.1 海量的數據規模(Volume)
大數據時代,各種移動設備、智能終端無時無刻不在產生數據,PB級別將是常態。根據互聯網數據中心的預測,全球到2020年將總共擁有35ZB(10億個T)的數據量。如果把這些數據全部刻錄到容量為9GB的光盤上,其疊加的高度將達到233萬公里,相當于在地球與月球之間往返三次。
2.2 多樣的數據類型(Variety)
以往數據大都以二維結構呈現,但隨著互聯網、多媒體技術的高速發展,視頻、音頻、圖片、郵件、RFID、GPS和傳感器等產生的非結構化數據在快速增長。這些數據在編碼方式、數據格式、應用特征等方面存在差異,多信息源并發形成大量的異構數據,不同結構的數據處理和分析方式也有所區別。
2.3 極快的處理速度(Velocity)
數據的快速流動和處理是大數據區別于傳統數據挖掘的顯著特征。大數據中存儲著大量的流數據,這些數據在互聯網絡中不斷傳遞,必須對數據進行快速實時處理。如何把握數據的時效性,是大數據時代對數據管理提出的基本要求。
3 大數據面臨的安全風險
近年來,大數據發展帶來機遇和價值的同時,其安全風險也廣為人們所關注和擔憂,美國“棱鏡門”項目的曝光更加凸顯了這一問題。大數據的安全風險主要體現在以下幾個方面:
3.1 大數據極易受到網絡攻擊
在網絡空間中,大數據成為更容易被“發現”的大目標,承載著越來越多的關注度。一方面,大數據不僅意味著海量的數據,也意味著更敏感、更有價值的數據,這些數據會吸引更多的潛在攻擊者。另一方面,數據的大量聚集,使得黑客一次成功的攻擊能夠獲得更多的數據,無形中降低了黑客的進攻成本,增加了“收益率”。
3.2 大數據加大隱私泄露風險
一方面,隨著社交網絡、電子商務的興起,人們之間的聯系越來越依賴網絡,大量個人信息分散在不同的網絡位置,只要將相關數據聚集起來,就很容易分析出個人的隱私信息。另一方面,很多基于大數據的研究分析都未考慮到個體隱私問題,時常把敏感信息部署到公開的服務器上,加大了個人隱私泄漏的風險。
3.3 大數據成為高級可持續攻擊的載體
傳統的檢測是基于單個時間點和具體威脅特征進行的實時匹配檢測,而高級可持續攻擊(APT)是一個實施過程,不具有能夠被實時檢測出來的明顯特征,黑客可以利用大數據將攻擊隱藏起來。同時,大數據的價值低密度性,安全分析工具很難聚焦在價值點上,攻擊者可以將攻擊代碼隱藏在大數據中,讓其很難被發現。
4 大數據安全的保障策略
現階段大數據技術面臨許多安全風險,同時大數據也為數據安全的發展提供了新的機遇。對海量的數據進行分析能夠更好地監控網絡異常行為,防范網絡詐騙和黑客入侵。異常的網絡行為都以數據的形式藏匿在大數據中,可以從存儲、應用和管理等方面著手,有效應對大數據的安全威脅。
4.1 大數據存儲的安全策略
有效解決大數據的安全存儲,有以下途徑:一是數據加密,大數據可以按照需要存儲在數據集的任何存儲空間,通過 SSL(Secure Sockets Layer安全套接層)加密,實現數據集的節點和應用程序之間移動來保護大數據。二是分離密鑰和加密數據,使數據使用和數據保管獨立開來,密鑰與被保護的數據相互隔離。三是使用過濾器,一旦發現數據離開用戶網絡,就自動阻止數據的再次傳輸,以保證數據安全。四是數據備份,通過系統容災、敏感信息集中管控等方式,最大程度地保證大數據在損壞情況下完整。
4.2 大數據應用的安全策略
一是嚴密防范APT攻擊,針對APT安全攻擊隱蔽性強、長期潛伏、攻擊路徑和渠道不確定等特征,設計具備實時檢測能力與事后回溯能力的全流量審計方案,有效防范攜帶病毒的應用程序。二是嚴格控制用戶訪問,根據大數據的密級程度和用戶需求不同,為大數據和用戶設定不同的訪問權限等級,并通過單點登錄嚴格控制用戶訪問,從而保證數據安全。三是安裝實時分析系統,從大數據中第一時間挖掘出黑客攻擊、非法操作、潛在威脅等各類安全事件,并及時發出警告并做出回應。
4.3 大數據管理的安全策略
安全技術防范措施固然重要,科學有效的管理策略也很關鍵。一是規范統一建設,建設一套規范的運行機制、建設標準和共享平臺,實現各類信息系統網絡互連、數據集成和資源共享,確保其在統一的安全規范框架下運行。二是建立安全系統,建立一個基于異構數據為中心的安全系統,既便于對大數據的使用進行控制,也能夠保證大數據的安全。三是樹立創新理念,大數據時代應以創新理念融合大數據與云計算,積極尋找新的立足點和著力點,在數據挖掘、人工智能等技術應用和融合創新方面實現突破。
5 結語
作為“未來的新石油”,大數據已成為繼云計算、物聯網之后信息技術領域的又一熱點,但其面臨的安全挑戰不容忽視。為了保障大數據的安全,促進信息科學技術的健康可持續發展,就必須著眼于現狀,提出并落實有效的保障策略,使其真正成為這個時代的驅動力量。
參考文獻
[1] 嚴霄鳳,張德馨.大數據研究[J].計算機技術與發展,2013(4).
篇3
【Abstract】The large data age has brought great changes to the accounting industry. This paper starts with the definition and characteristics of big data, and analyzes the advantages and disadvantages of big data for accounting industry in detail, and puts forward the corresponding countermeasures for the adverse effects. Big data is bound to become the key to economic development in the future, so this research is of great significance.
【關鍵詞】大數據;會計;影響;對策
【Keywords】big data; accounting; influence; countermeasures
【中圖分類號】F275 【文獻標志碼】A 【文章編號】1673-1069(2017)06-0079-02
1 引言
隨著互聯網的不斷發展,大數據時代到來,財務會計領域也隨之發生了巨大變革,大數據給會計的工作帶來了許多機遇,同時也帶來了很多的挑戰,本文從有利與不利兩個方面闡述大數據對會計的影響,并提出相應的應對措施。
2 大數據的定義及特點
在互聯網應用的普及下,大數據逐漸進入人們的視野并很快被人們運用。對于大數據,研究機構Gartner給出了這樣的定義:大數是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。對于大數據的特點,IBM提出了5V理論,即Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。大數據的意義其實不在于擁有龐大的數據庫信息,而是在于如何對巨量信息進行專業化的分析與處理,通過對數據進行加工從而使這些數據得以“增值”,為企業所用。
3 大數據對于會計的有利影響
3.1 有助于企業間數據共享
互聯網的發展促進了大數據的產生,大數據的產生則進一步促進企業間的信息分享,尤其對于集團公司而言。傳統會計環境下,會計工作都是紙質化,對于大的集團公司而言,與旗下分公司或子公司的會計信息交流效率低下且易產生傳遞錯誤,而在大數據環境下,電子合同、電子發票等電子原始憑證可以減少信息處理中的錯誤,會計工作實現無紙化,同時對于大型集團公司而言,與旗下的分公司或子公司間聯網后,會計信息得以迅速傳遞,提高效率的同時也增加了會計信息的準確度,有助于企業進行進一步的合理決策。
3.2 有助于促進會計人員素質的提升
傳統會計環境下,會計的職能往往在于簡單的核算與報表分析,為管理者、經營者和決策者提供數據依據。然而,隨著大數據時代的到來和市場經濟的不斷發展,簡單的數據分析已經不能滿足會計信息使用者的需求,在大數據環境下,會計人員需要運用數據庫對企業的財務數據和其他部門的數據進行綜合分析,從不同的角度和深度挖掘可用信息,通過這些數據的隱藏信息了解企業的現在情況、并及時對企業的經營成果進行客觀屬實的評價,有利于管理層進行及時專業化的決策。由此可以看出,大數據時代不再是要求會計進行簡單的機械性工作,而是要求會計能夠熟練運用各種數據模型并擁有一定的數據敏感度,熟練掌握計算機的應用程序并適當擁有一些自己編程建造數據模型的能力,這不僅有助于企業信息處理的優化、管理層決策的及時精準化,更有助于會計人員應對如今電腦功能的不斷強大所帶來的失業風險[1]。
4 大數據對于會計的不利影響
4.1 會計理論的更新速度達不到大數據時代的要求
傳統的會計理論的基本假設包括會計主體假設、持續經營假設、會計分期假設和貨幣計量假設,在互聯網大數據環境下,企業經營活動靈活性很強,互聯網提供不斷變化的信息數據和處理技術,使財務靜態核算趨向動態核算,傳統的會計假設提供的財務報告越來越無法滿足使用者對信息及時性的需求。例如,對于傳統會計的貨幣計量假設而言,大數據環境下,互聯網經濟活動靈活性強且范圍較廣,交易主體虛擬性強,在不斷發展的互聯網經濟活動中,出現了多種網上支付平臺,第三方支付平臺具備了實體貨幣的職能,而電子貨幣的流通量取決于企業財務需求,所以互聯網經濟活動產生的第三方支付平臺具有貨幣計量穩定性低和風險高的特點,不符合貨幣計量穩定性的要求。
篇4
【關鍵詞】 數據 數據特點 常用技術 數據意義
一、大數據概述
1.1大數據定義
隨著科技的發展,像云計算科技,軟件科技,物聯網科技等的興起和發展,數據正飛速發展,大數據時代已經來臨了,并且在我們生活的方方面面占據著重要作用,然而,到目前大數據并沒有明確的定義。學術界的定義,即大數據是形式多樣的,大數據量的非結構化數據;比較有代表意義的定義還有大數據需滿足規模性,多樣性,高速性,即是3V定義;維基百科把大數據定義成,可以利用常用軟件來捕獲,管理以及進行數據處理時需花費大量的時間。
1.2大數據發展歷史
數據的研究一詞源于1944年,弗萊蒙特?雷德在《學者與研究型圖書館的未來》中首次提出對數據的研究,他發現管中的書籍量每16年就會翻倍,提出數據的研究,后來數據一詞不斷被提到。到了1997年《為外存模型可視化而應用控制程序請求頁面調度》問世,在文中是這樣描寫的:“可視化對計算機系統提出了一個有趣的挑戰:通常情況下數據集相當大,耗盡了主存儲器、本地磁盤、甚至是遠程磁盤的存儲容量。我們將這個問題稱為大數據。”這是在美國的計算機學會數字圖書館中首篇用“大數據”這一術語。隨之大數據研究受到重視,迅速發展,每年世界所產生與復制的數字化數據總量不斷攀升。
21世紀之后,大數據的發展更是加快了步伐,互聯網數據中心對接下來10年的數據量進行了預計,表明到2006年,全世界將產生了161EB數據,同時預計至接下來的四年,每年數據量將以六倍多的數量增加,達到988EB。近幾年,大數據更是分布于全球的各個方面。
1.3大數據特點
(1)數據量巨大。電子商務,互聯網等每天都會產生大量的數據,供用戶便捷地獲得信息,這些信息量是大量的,非人工能夠計算的。
(2)廣泛的異構性。正如現在數據向半結構化和非結構化等融合結構的轉化;數據源向具有時空特性的數據源的轉化都表明數據的廣泛異構性。
(3)多種多樣,分布廣泛。隨著物聯網,互聯網的發展,大數據的種類也隨之不斷發展。
(4)價值密度低。因數據量大,有用信息量一般很少,所以有價值的信息占據比重較低,即價值密度低。
二、大數據常用技術
2.1 Hadoop
Hadoop主要有HDFS和MapReduce構成,是一個很成熟和完善的分布式計算系統,可以用來解決數據存放以及一些有關的計算問題,Hadoop可以通過常用的一些硬件來構建穩定的,高效的,功能齊全的分布式集群計算系統。
2.2 NoSQL數據庫
NoSQL是來源于一個開源關系型數據庫的名字,可以理解為非關系型數據庫,但是始終沒有一個明確的定義。NoSQL為集群環境而設計,可用來解決越來越大的數據量,能夠大量,高效率的處理大數據,它能夠形成容易編程,功能齊全,擴展性良好的系統。
2.3 Spark
Spark是一套分布式內存迭代計算系統,它通過Scala語言寫成,Spark構建了以處理大數據為目的的一體化解決方案,使用者能夠用同樣的API來操作Spark的所有功能,同時Spark中的四個主要子框架能夠操作彼此的數據。
三、大數據的意義
大數據的研究可以提升中國在國際科學界的重要地位,捍衛和加強國家網絡空間的數字。隨著信息技術的快速發展,互聯網,物聯網等先進科技在全國各地普及并且占據重要作用,任何國家想要變得更強都離不開科技,國家層面的競爭力在很大一部分同樣反映在國家的網路數據的規模,對數據的分析能力和運用能力。
大數據和商業機遇緊密相連,可以促進經濟發展。近些年網絡大數據在科學領域有重大突破,當然在技術方面同樣有巨大的提升,就目前我們在大數據領域的實力足以駕馭大數據涌現性、清理數據的復雜性,掌握大數據復雜性,當然我們也能夠從巨大的數據流中找出人們有用的、有針對性的信息和知識,最終能夠充分實現信息的價值。各行各業都有自己的數據,通過對數據的統計,數據分析,提出應對策略,提升行業用戶競爭力,從而帶動經濟發展。
參 考 文 獻
[1]W絡信息的檢索與挖掘回顧[J]. 程學旗,郭嘉豐,靳小龍. 中文信息學報. 2011(06)
[2]數據質量和數據清洗研究綜述[J]. 郭志懋,周傲英. 軟件學報. 2002(11)
[3]網絡大數據:現狀與展望[J]. 王元卓,靳小龍,程學旗. 計算機學報. 2013(06)
篇5
1.1大數據的概念釋義
對于大數據,維基百科給出了這樣的定義:大數據是指利用常用軟件工具捕獲、管理和處理數據所耗時間超過可容忍時間的數據集。由于對大數據的研究處于初步階段,人們目前尚沒有得到一個公認的定義,對于大數據的定義有許多,但它們都有一個共同特征,即根據大數據的特征來進行闡釋與歸納。
1.2大數據的基本特征
大數據特征可以總結為4個V,即Volume(規模巨大)、Variety(模態多樣)、Velocity(生成飛速)、Value(價值無限但密度也低)。首先大數據以計量單位P,甚至E或Z來計數。據IDC的一份研究報告顯示,自2012年以來10年里全球大數據將增加50倍。其次,大數據種類繁多,包含著結構化、半結構化及非結構化數據,而且近年半結構化和非結構化數據大幅度增長,占據了整個數據量的絕大部分。再次,人、機、物的高度融合使得數據爆炸式增長,日常生活是大數據飆升的主要來源。例如截止2014年淘寶網會員數量已超過5億,在線商品數達到10億件,淘寶網和天貓的交易總額超過1.5萬億。最后,數據復雜相關而又頻繁交互,從海量的數據中剝離出有用的信息就好比深海里淘金,稀疏而又珍貴,價值的密度很低也是大數據的一個重要特征。
2大數據的社會價值挖掘
2.1大數據為政府管理和科學決策提供數據信息支撐
在“全面深化改革,推進國家治理體系和治理能力現代化”的時代背景與要求下,大數據在政府管理中扮演著重要的角色,對于實現數據治國具有重要的現實意義。河北省目前正面臨著京津冀協同發展的重要戰略機遇,2016年11月在河北大學管理學院召開的“2016年京津冀信息資源管理高峰論壇”就是一次在大數據背景下,將大數據、信息資源建設運用于政府治理的研究論壇,是大數據與政府管理結合的大討論、大結合。這可以充分證明大數據對于政府治理和信息建設的重要性和現實意義。對它的研究可以有效提升科學決策水平,能夠有效地整合來自政治、經濟、文化、法律,生態等各個領域的信息資源,為國家治理提供重要決策依據。
2.2大數據與新媒體的融合推動社會智能化
大數據與微信、微博等新興媒體的多元世界高度融合,可以突破時空的限制,促進政府與民眾之間良性互動,形成公眾參與政府管理的新格局,增強國家治理能力。另外,大數據在云計算的配合下,加快了智能醫療、智能教育、智能交通、智能物流發展的步伐,加速了我國的城鎮化、工業化、信息化、生態化建設進程,有效提高了社會服務效能,促進社會的智能化和信息化。
2.3大數據應用廣泛性推動信息社會化
大數據在越來越多的行業中發揮著越來越大的作用,其應用廣泛性已經彰顯在方方面面,影響著人們生活和社會發展的各領域,逐步讓信息走向社會化。從經濟領域來看大數據的應用可以為經濟發展提供較為準確的預測功能。在2008年的金融危機中,阿里平臺通過海量交易記錄預測出經濟指數的下滑,提醒廣大的中小制造商提前做好準備,預防經濟危機。大數據分析也成為了市場營銷的重要手段,不再需要抽取部分數據,而是基于海量幾近完整的數據做出高度準確的預測,進行精準營銷。正如亞馬遜的最終期望那樣:“最成功的書籍推薦應該只有一本書,就是用戶要買的下一本書”。在體育競技中運動健兒甚至可以運用數據取得成功,利用數據建模定量分析不同隊員特點,合理調整,科學組隊。2016年里約奧運會中,中國女排再次奪得世界冠軍,這成功離不開總教練郎平的正確指導,也離不開袁靈犀的數據分析。賽中每個回合他都利用代碼將有價值的細節錄入系統,實時提供技術分析數據,幫助郎平做到知己知彼,及時調整隊員布局。
3大數據時代帶來的挑戰
大數據在造福人類社會的同時,也給人們帶來安諸多方面的挑戰。從理論研究視閾來看,大數據時代的到來對于社會進步尤其是科技發展產生巨大的支撐與推動作用,但從實際應用研究的角度來說其根本挑戰在于其安全保密性、不確定性和預測涌現性對社會行為產生的威脅和隱患,這也影響著大數據的發展趨勢研究進展和應用前景。大數據的研究需要一套全新的理論和方法來進行方向性的指導,需要一個完備的新的理論體系來指導該學科的發展和研究。
3.1大數據的安全性存在信息泄露隱患
“棱鏡門”事件更加劇了人們對大數據安全的恐慌。即使經過匿名處理,個人隱私仍會有泄露的風險。租賃商Netflix曾為提高電影推薦系統的準確度,公布了約50萬用戶的信息,這些信息與其它數據源結合時,部分用戶竟被識別出來。大數據帶來的新的安全問題也終將由大數據來解決,而今天對于大數據安全與隱私保護的相關研究處于初級階段,技術手段與法律法規相結合才是解決問題的根本之道。
3.2大數據的預測涌現性引起隱私恐慌
大數據在沒有全局控制和預先定義的情況下,通過對來自大量自發個體的語義進行互相融合和連接而形成語義,整個過程隨著數據的變化而持續演進,從而形成大數據的涌現語義,也可以稱之為預測涌現。大數據這種預測涌現性對人們行為進行預測也構成了所面臨的威脅。一個較為典型的案例即是北美Target數據營銷事件,銷售商通過分析歷史記錄,捕捉用戶懷孕的事實,并向其推薦嬰幼兒優惠券,引起了《大數據功力:比父親更了解女兒沖進大賣場》的深刻反思。
3.3大數據的不確定性影響社會穩定
原始數據的不準確以及數據采集處理粒度、應用需求與數據集成與展示等因素使得數據在不用維度、不同尺度上都有不同程度的不確定性。也就是說,這些本身帶有不確定性的數據并非可以說明事實,因為可能數據本身就是虛假的。存在需要核實、考證與分析,不確定性的數據一旦進入公眾社圈就會引發一系列社會問題,危害社會穩定。諸如在點評網站中的虛假評論有目的地誘導民眾接受并傳播某種思想或服務的例子不勝枚舉。
4關于大數據未來發展的展望與對策設計
4.1完善大數據的頂層設計,建立良性大數據生態系統
國家應在宏觀層面上做出全面系統的長期規劃和短期目標。國家應在大數據人才培養,平臺構建以及行業應用方面提供人財物多方面深層次的資源支持,同時給予積極的政策引導,鼓勵創新,同社會各界建立起良性的大數據生態系統。2015年8月國務院出臺了《促進大數據發展行動綱要》,契合當下,放眼未來,內容全面涉及范圍廣,而要保證其貫徹落實,更要及時跟進,制定配套制度予以配合,做到及時反饋、及時糾正;同時在新的國際背景下也應注重信息基礎設施建設,提升信息作戰能力,加強國家信息安全,贏得新科技競爭中的戰略制高點。
4.2加強政企合作,搭建準確高效的大數據合作平臺
大數據企業應積極主動加強與政府之間的戰略合作。大數據的數據源以企業為主,政府利用企業數據可以完善補充統計數據,提高統計信息質量,為社會治理謀求最大利益;企業則可以根據更為準確的大數據把握市場信息,占據市場份額,贏得發展機遇,政企合作是當代在大數據背景下一個必然選擇。2013年國家統計局與阿里、百度等11家企業一同啟動國家統計局大數據合作平臺便是政企合作的一個縮影。
4.3深化大數據基礎理論研究,提升數據收集與分析能力
注重大數據基礎理論研究,提高數據收集與分析能力,是解決大數據信息安全的關鍵途徑。數據是分析的基礎,只有全面而真實的數據才會產生價值,片面的數據分析出的結果往往有較大的偏差;深度發展大數據分析能力,包括:大數據認證技術、威脅發現技術、水印技術、網絡匿名保護技術等等,這些技術在部分領域已有所應用,但同時存在反應速度慢、缺乏安全性、用戶負擔重等某些方面的不足,只有克服相關技術的不足,才能更好的解決大數據信息安全問題。
5結語
大數據既是時代快速發展的產物,也是推動時代飛速發展的強大驅動力。它給社會發展帶來了機遇,也帶來了前所未有的挑戰。迎接這項挑戰不只是政府,企業或其他組織的責任,而是時代賦予我們整個社會每位公民的責任。大數據沒有那么神秘,真正擁有力量的也不是數據本身,而是擁有數據掌握技術的我們。今后應不斷加強大數據理論研究,完善學科發展方向和體系,為大數據學科建設與發展提供理論支撐和技術支持,持續切實加強政企合作,搭建大數據合作平臺,建立良性大數據生態系統,使大數據真正推動科技繁榮、社會發展、人類進步。
作者:郁肖亞 鞏建宇 單位:河北大學管理學院
參考文獻
[1]李國杰.大數據研究的科學價值[J].中國計算機學會通訊,2012,8(9):8-15.
[2]BigData.Nature[Z].2008,455(7209):1-136.
[3]BigData.ERCIMNews[Z].2012,(89).
[4]宗威,吳鋒.大數據時代下數據質量的挑戰[J].西安交通大學學報,2013,(09).
[5]孟小峰,慈祥.大數據管理:概念、技術與挑戰[J].計算機研究與發展,2013,50(1):146-169.
[6]李國杰,程學旗.大數據研究:未來科技及經濟社會發展的重大戰略領域[J].中國科學院院刊,2012,27(6):647-657.
[7]馮鵬志.對象、主題與特色—關于我國“科學、技術與社會”(STS)學科發展的幾點思考[J].學術界,2002,(6).
[8]覃雄派,王會舉,杜小勇.大數據分析—RDBMS與MapReduce的競爭與共生[J].軟件學報,2012,23(1):32-45.
[9]樊偉紅,李晨暉,張興旺.圖書館需要怎樣的大數據?[J].圖書館雜志,2012,(11):63-68,77.
[10]鄔賀銓.大數據時代的機遇與挑戰[J].求是,2013,(2).
篇6
溫開華
(國家電子計算機質量監督檢驗中心 100083)
[摘 要]毫無疑問,我們身處信息化時代,而信息技術的深度應用使得大數據在各個領域中大展身手,如科學、商業、教育、文化等領域。同時,隨著大數據在
軍事領域應用的橫縱向發展,戰爭已步入大數據時代。在信息化戰場上,
“除了上帝,任何人都必須用數據說話”?,F實告訴我們,只有在大數據的挖掘和應用方面掌
握優勢的一方,才能有效提高對戰場的控制力,從而在戰場上立于不敗之地。這些都告訴我們,軍隊要打贏信息化戰爭,決勝于千里之外必備必須與大數據深度融
合。
一、大數據
(1 )定義
針對大數據,并沒有統一的定義,業內比較普遍認同的定義:大數據指的是
數據存儲規模遠遠超過傳統數據庫軟件處理能力的海量數據集合。提出這一概
念主要針對的是信息化社會數據“爆炸式”增長,數據存儲量巨大。
(2 )特點“4 V ”
1、大量(volume)存儲大;計算量大
2、多樣(Variety)來源多;格式多
3、快速(velocity)數據增長速度快;處理速度要求變化快
4、價值(value)
(3 )大數據與云計算
大數據不同于云計算,云計算的本質是數據處理技術。大數據是未被發掘
的無形資產,而云計算則為大數據資產提供存儲、訪問、計算和分析。
(4 )數據來源
互聯網企業;物聯網、商品終端、移動設備、個人定位、傳感器采集;移動、聯
通、電信等通信運營商以及相關互聯網運營商等。
二、信息化戰爭
(1 )定義
信息戰,又叫決策指揮控制戰。信息戰旨在以信息為戰爭中的主要武器,通
過打擊敵方的網絡識別系統和計算機信息系統,從而干擾、阻止或改變敵方決
策指揮者的決定,進而使敵方喪失作戰能力或放棄敵對行為。
(2 )出現
信息化戰爭理念的出現是以計算機技術為核心的第三次技術革命作為基
礎的,并產生于1980-1983年。隨后1991年的海灣戰爭,信息化的武器裝備,如
偵查衛星、全球定位系統(GPS)等,開始在戰爭中發揮著重大作用,信息化戰爭
初露端倪。
(3 )發展
科索沃戰爭(1999)是全球范圍內第一場真正的信息化戰爭。阿富汗戰爭
(2001)實現了信息化的全面連通,每一個戰斗分隊都是由指揮官在后方通過網
絡監視大屏幕進行決策指揮的。伊拉克戰爭(2003)信息化水平很高,基本上實
現了戰爭直播。
三、大數據對信息化戰爭的影響
通過以上介紹,我們對大數據和信息化戰爭有了初步的了解。大數據應用
在現在戰爭中,可以提高戰爭的信息化水平,而對于現代戰爭而言,信息化水平
就是決定戰爭勝利與否的關鍵所在。但同時我們需要注意的是,對于信息化戰
爭而言,數據量巨大的特征也是顯而易見的。如阿富汗戰爭期間,美軍為打擊一
小股恐怖分子,其部署在太空、空中和地面的全方位情報偵察監視系統,24小時
內產生的數據就有53TB(1TB=1024GB)面對如此巨大的數據,指揮員和部隊
會陷入數據的海洋中無所適從。所以,認識信息化戰爭對大數據存儲與分析的
要求從而提出相應的解決對策十分有必要。
四、信息化戰爭對大數據存儲與分析的要求
在信息化戰爭中,多維一體協同作戰成為作戰的基本樣式。在每一次戰爭
中都會產生海量的數據。在這樣的背景下,信息化戰爭對數據存儲與分析產生
了許多具體的要求。
(1 )輔助決策的要求
在信息化戰爭條件下的戰略決策,以及如何提高戰略決策水平,對海量數
據的處理和分析進提出了很高的要求。
(2 )支持信息查詢功能的要求
信息化戰爭需要廣泛搜集敵方兵種、數量、戰術、作戰特點、等各
種海量數據,并且整理編輯成文字資料、圖片資料和音像資料,建立計算機數據
資料庫,為各個指揮中心提供查詢和參考。
(3 )支持內部擴容的要求
大數據時代的數據量是呈幾何指數關系遞增的,如何保證數據處理系統的
正常高效運行從而有效支持信息化戰爭是急需解決的核心難題。而傳統的物理
服務器存儲方式具有擴展性差,資源利用率低,可維護性差,靈活性差且造價昂
貴的特點。這些都不利于構建大數據對于信息化戰爭的支撐。
(4 )支持數據安全的要求
數據安全即在信息化戰爭條件下確保數據源是真實的、已方的。這里主要
的問題包括三個:身份識別,數據識別和防止敵方信息對抗。身份識別即身份認
證問題,指的是防止敵方利用偽身份進行滲透。數據識別指的是數據源和數據
的真假辨別。防止敵方信息對抗指的是防止敵方竊聽,干擾和向系統注入虛假
數據。信息化戰爭對數據信息安全要求體現在對信息使用者訪問權限的控制以
及對信息使用者身份的識別。
五、提高大數據存儲與分析能力的幾個對策
隨著信息化戰爭的橫縱發展,使得信息化戰爭對數據存儲與分析產生了許
多具體的要求,針對上述問題,國內外已經進行了相關研究,并且取得了一定的
成果。下面主要介紹一下解決上述問題的相關技術。
(1)Hadoop大數據處理技術
Hadoop是一個基于Java的分布式密集數據處理和數據分析的軟件框架。
該框架在很大程度上受Google在2004年白皮書中闡述的MapReduce的技術啟
發。MapReduce是Hadoop中的一個軟件框架,通過MapReduce并行處理技術
可以提高大數據的處理速度。
(2 )內存計算
內存計算,就是計算機中央處理器(CPU)直接從內存中讀取數據(傳統的
數據讀取是從硬盤中),并對讀取到數據進行計算、分析和應用。服務器在處理
數據時,CPU 首先會從緩存中找數據,如果緩存中找不到,再從內存中找,內
存中沒有,再從硬盤上讀取。通過研究表明,如果讓查詢在內存中進行,而不用
讀取硬盤,就會大大提升處理性能。但是,我們需要大幅提高內存的讀寫速度。
(3 )云計算
云計算能夠動態地擴展計算機應用基礎設施,是近年來最有代表性的網絡
分析與計算技術。云計算通過將大量計算分布在大量的分布式計算機上,進而
實現有效地分析和處理海量數據的目的。
六、結語
在信息化時代,數據成為軍隊在戰爭中是否能夠克敵制勝最為關鍵的因
素。隨著大數據時代的到來,深刻理解大數據的內涵及其對信息化戰爭的影響,
在大數據中探索戰爭深層原理,掌握以數據為中心的信息化戰爭方法,才能在
戰場上掌握主動并立于不敗之地。
參考文獻
[1] 陳潤華主編.大學軍事教程.清華大學出版社出版,2008年第二版.
篇7
關鍵詞:大數據;時代特征;研發大數據;分析平臺;具體策略
中圖分類號:TP391 文獻標識碼:A 文章編號:1009-3044(2016)27-0003-02
正是互聯網技術的應用,為整個社會發展轉型奠定了重要基礎。尤其是在大數據應用日益成熟的今天,完善構建大數據分析平臺,結合大數據分析的具體功能屬性和應用價值,從而實現企業經營發展與大數據應用的體系性融入。當然,想要用好大數據平臺,就必須了解大數據平臺有哪些應用特征,同時也要了解其具體應用要求和內涵,從而適應大數據時代特征,為企業發展提供科學決策。
1 大數據時代特征分析
大數據時代的到來,標志著人類對計算機互聯網技術的應用實現了實質性進步,與以往時代所不同的是,大數據時代具有自身特征,其主要表現為:首先,其整體數據量極大,與以往信息時代不同的是,大數據應用的前提就是收集龐大的數據信息,因此,其存儲數據的計算量遠超過了當前的計量,其基本上使用的都是P/E/Z做計量單位,起碼存儲在1000T以上,甚至高達10億T。
其次,其特征主要表現為種類繁多、內容多樣。尤其是整個大數據體系中不僅包含了各個行業的信息,同時其收集形式也極為多樣,從文字、圖片到音頻、視頻等等,基本上囊括了整個時代的各個信息鏈條和內涵。正是數據信息的多樣化和多元化決定了我們可以通過使用大數據實現對整個數據資源的體系化認知,同時這也從根本上提升了我們對數據的處理和應用能力,使得整個數據分析更有參考價值和意義。
此外,隨著當前大數據應用不斷成熟,如今數據價值密度相對較低,尤其是在物聯網廣泛應用影響下,信息感知應用極為廣泛。雖然當前大數據時代,整個數據量大,但是有價值的數據較少,其整體價值密度不大,因此如何才能有效完善數據篩選,優化其價值應用,就是當前利用大數據平臺過程中所不可忽視的內容。
最后,我們應該認識到大數據時代的重要特征還表現為數據處理深度快,且對數據處理有較高的時效性要求。正是高速的數據處理速度和處理時間要求,決定了當前大數據開發應用不同于傳統數據篩選應用。但是我們應該辯證看待大數據平臺的優缺點,尤其是當前我們所具備的技術和設施已經無法滿足海量信息數據的處理,可以說正是快速發展的時代要求決定了我們必須優化信息數據利用方式,構建完善的數據應用平臺和機制。
2 當前大數據分析平臺應用內涵及具體狀況分析
想要對大數據分析平臺應用要求進行體系化認知,就必須清楚大數據分析的定義內涵、應用過程中存在的問題和不足以及其具體的解決對策。只有對其形成體系化了解,才能從根本上服務大數據分析平臺建設、應用。
2.1 大數據分析的定義
結合大數據結構復雜,數據更新速度快、價值密度低、整體數據量大等一系列特點,當前我們在應用大數據時,存在較大難度,而全面應用大數據的關鍵就是實施大數據分析,通過完善大數據分析的具體定義認知,從而構建合理的大數據分析平臺。實際上,大數據分析指的是在數據密集的環境下,通過使用科學分析的方法,對數據應用進行重新思考,并完善構建全新數據分析應用模式。大數據分析認為其分析應用過程并非技術上的應用,而是一種具體的使用策略,其核心內涵指的是通過使用一種相對以往更有效分析方式來管理、獲取海量數據的方式,并且在這一過程中獲取有價值的信息。結合當前大數據應用實際狀況,我們可以認為,大數據分析指的是:依據數據生成理論,通過構建大數據分析模型,從而結合集成化大數據分析平臺,使用云計算技術完善分析數據資源,并且最終探究出大數據模式背后規律的過程。
2.2 大數據分析方法闡述
目前大數據分析的重要內容是可視化分析,通過集成交互可視化和自動化分析,從而提升大數據分析方法的應用效果。從大數據分析系統架構層面看,整個大數據分析具有9層架構體系,尤其是其中的復雜結構處理技術、平臺應用標準規范和虛擬化接入技術以及其知識服務交易模型和大數據知識服務質量評價體系等共同組成了大數據分析服務的關鍵技術應用機制。在傳統數據分析過程中,其更多針對的是原始數據進行抽樣、過濾,并結合數據樣本分析,從而探究其中存在的具體規律和特點。因此,其中最重要的特點在于通過使用復雜算法能夠從體系化的數據中尋找到更多有價值的數據信息。在當前計算水平和存儲能力大大提升過程中,大數據分析所面臨的對象是整個動態變化的數據群體,而不是客觀不變的數據樣本,因此其大數據分析的應用重點從高效解決收集到的信息入手,只有提升數據運算的準確性,才能夠沒滿足大數據分析的應用要求。
2.3 大數據分析過程中存在的問題闡述
正是因為當前大數據時代的迅猛發展,整個大數據分析過程中存在著一系列問題和不足,其大大制約了大數據分析的應用效果,其問題集中反映為:首先,想要實現精準的大數據分析,需要解決其大數據存儲問題,與以往相比,大數據時代,其整體數據存儲遠遠超過了傳統數據時代,而想要實現其數據分析目的,就必須完善數據存儲。而目前在大數據時代,整個數據存儲并不是靜態的,而是動態發展的,因此只有探索完善適應大數據存儲的具體機制,才能實現其最終目的。其次,大數據質量不高,分析利用難度大。因此,需要探究增強數據可用性的方法。此外,大數據分析的核心在與數據建模。但是當前由于建模水平較差,暫時很難結合大數據時代特征,完善建模應用。最后,缺乏專業的大數據分析工具。在傳統數據分析過程中,經常使用SPSS等軟件進行數據分析,但是在大數據時代,缺乏能夠完善有效的數據分析工具。因此,結合大數據時代特征,構建大數據分析平臺,對于整個大數據時代應用發展來說,極為必要。
3 構建研發大數據分析平臺的具體策略
在大數據分析過程中,最需要探究的就是其分析方法。分析方法的好壞直接關系到大數據分析應用的具體結果是否合理有效,同時也關系到其數據分析結果是否切實有用。而不同類型的大數據則需要截然不同的分析方法。而在構建大數據分析平臺過程中,需要從以下方面入手:
首先,要結合大數據分析應用的具體要求,完善數據存儲技術。當前增速驚人的大數據決定了我們想要實現大數據分析目的,就必須探索完善的數據存儲方式。通過應用云存儲技術,能夠確保其存儲容量以及數據整體的可用性和安全性等等,從而解決大數據分析平臺的數據存儲問題。而通過提升大數據分析存儲技術,必然也能夠有效提升其具體應用技術。同時優化數據存儲,能夠有效提升大數據的應用效果,實現大數據分析的良好效果。
其次,大數據分析是大數據應用的核心,而實施大數據分析模式則需要針對當前類型多樣、迅速增長的信息數據進行分析,并且通過合理分析,從龐大的數據體系中尋找到有價值的信息內涵,進而為整個決策活動提供相關依據的模式。在大數據分析過程中,數據庫、知識庫和模擬庫是整個數據分析模型構建的主要要素,通過在構建現有知識庫和數據庫模型基礎上,進行數據分析,其得到相應結果,一方面優化模型構造,另一方面也實現對數據的具體應用。通過優化數據模型應用,能夠有效提升大數據分析能力和應用實效。
最后,大數據分析系統作為當前數據平臺應用的核心,其主要應用功能在于為數據挖掘應用提供完善基礎,同時使用分布式存儲法和并行計算體系,通過使用多重分布計算,從而實現對各類信息資源進行有效計算和分析,通過提供關聯、分類、預算等一系列方法,結合各種數據挖掘分析機制的應用,從而實現整個大數據平臺價值效用的體系化發揮。
4 結語
在當前互聯網技術對各行各業發展的具體影響推動下,通過使用大數據技術,能夠為各行業發展奠定重要基礎,尤其是大數據分析的科學性,能夠為企業發展提供重要決策依據。而對各企業來說,尋找大數據應用與企業自身經營的結合點,則能夠從根本上提升大數據應用效率。而想要構建符合實際經營需要的大數據分析平臺,就必須從大數據時代特征分析入手,通過具體了解和體系化融入,從而實現大數據分析平臺的具體研發。而構建大數據分析平臺將從根本上發揮大數據技術優勢。
參考文獻:
[1] 馬新莉.面向服務的大數據分析平臺解決方案[J].科技創業,2013(10):72-74.
[2] 韓晶晶.大數據時代下數據分析理念的辨析[J].管理信息,2014(5):33-35.
篇8
隨著云計算的來臨,大數據(Big date)受到越來越多的關注。此概念最早由美國提出,研究機構Gartner給出了定義,即“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。維基百科將大數據定義為無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合。《著云臺》的分析師團隊認為,大數據通常用來形容一個公司創造的大量非結構化數據和半結構化數據,這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。
二、大數據的特征
大數據的特征有很多詞語可以用來表示,2001年DougLaney最先提出“3V”模型,包括數量(Volume)、速度(Velocity)和種類(Variety)。IBM將其特征定義為4V,即規模性(Volume)、高速性(Velocity)、多樣性(Variety)和價值性(Value)。
1.規模性(Volume)
數據巨大的數據量以及其規模的完整性,非結構化數據規模比結構化數據增長快,數據的存儲量和產生量巨大,數據具有完整性。
2.高速性(Velocity)
實時分析產生的數據流以及大數據。現實中對數據的實時性要求較高,能夠在第一時間抓到事件發生的信息。當有大量數據輸入或必須做出反應時能夠迅速對數據進行分析。
3.多樣性(Variety)
多樣性指有多種途徑來源的關系型和非關系型數據。有很多不同的形式,除了簡單的文本分析外,還可以對機器數據、圖像、視頻、點擊流以及其他任何可用的信息進行分析。利用大數據多樣性的原理就是:保留一切對你有用的你需要的信息,丟棄那些你不需要的信息。發現那些有關聯的數據,加以收集、分析、加工,使其變成可以利用的信息。
4.價值性(Value)
大量不相關數據的提純,體現大數據運用的真實意義所在。價值具有不確定性、稀缺性、多樣性。正如稻草堆中尋找一根針,運用大數據技術,就能輕易的尋找到。
三、大數據對企業管理的影響
1.大數據對企業管理思想的影響
大數據時代的來臨改變了企業的內外部環境,引起了企業的變革與發展。企業越來越智能化,管理實現了信息化。企業中的數據收集、傳輸利用需要現代管理思想的支撐。
大數據環境下的企業管理應當以人為本,在實踐的基礎上運用現代信息化技術,采用柔性管理,將數據當做附加資產來看待。企業運營離不開數據的支撐,企業管理當中如果不能夠深刻認識到大數據的重要性,僅僅以公司短期盈利作為目標,是缺乏戰略性的思考。有效的利用數據分析結果,提前進行預測,抓住市場先機、顧客需求,就能主動贏得市場,才能在企業管理與銷售業績上創造出更大的財富。
2.大數據對企業管理決策的影響
大數據背景下數據的分析利用是企業決策的關鍵。首先,大數據的決策需要大市場的數據?;谠朴嬎愕拇髷祿h境影響到企業信息收集方式、決策方案選擇、決策方案制定和評估等決策實施過程,對企業的管理決策產生影響。大數據決策的特點體現在數據驅動型決策,大數據環境下的管理決策對于企業不僅是一門技術,更是一種全新的決策方式、業務模式,企業必須適應大數據環境對管理決策的新挑戰。
其次,大數據對決策者和決策組織提出了更高的要求。大數據時代改變了過去依靠經驗、管理理論和思想的決策方式。管理決策層根據大數據分析結果發現和解決問題、預測機遇與挑戰、規避風險。這就要求決策層具有較高的決策水平。由于大數據背景下需要企業全員的參與,動態變動環境下,決策權力更加分散才有利于企業做出正確的決策。這就要求企業的組織更加趨于扁平化。
3.大數據對企業人力資源管理的影響
人力資源是企業中最寶貴的資源,是企業創造核心競爭力的基礎?;诖髷祿夹g,企業將大大提高人力資源管理的效率和質量。有效的加快人力資源工作從過去的經驗管理模式向戰略管理模式的轉變。
公司從員工招聘到績效考核與培訓,積累了大量的各類非線性數據,這些數據都是無形的資產,利用大數據技術,將這些數據進行整合分析利用,能夠為企業帶來巨大貢獻。首先,在員工招聘上,只需將單位用人要求與員工各項能力數據相匹配,結合人力資源招聘的經驗,便可輕松選出符合要求的員工。其次,在績效考核上,進行標準化管理,將員工日常的各類數據進行分析,設定等級標準,即可得出客觀公正的考核結果。這大大排除了績效管理的主觀性與不全面性。最后,根據大數據的分析結果,針對不同員工區別培訓,更有效率的提高了培訓水平。
4.大數據對企業財務管理的影響
大數據使財務管理的模式和工作理念顛覆性的改變。首先,財務管理更加穩健。公司將各類財務數據在大數據技術下進行發掘,提純出更多有用的財務信息,及早的發現財務風險,為管理決策者提供重要的決策依據,做出正確的決斷。其次,財務數據的處理更加及時高效。財務數據在企業日常運營當中舉足輕重,企業的各項交易都依賴于財務數據的分析,企業基于大數據,通過對財務數據的分析和處理,能夠改進財務管理工作的運行模式,并且是有效率的,企業資金資本運作成本降低和壓縮了,利潤相應提高了。企業資源最豐富的積累,最基礎的財務數據,通過大數據技術進行對財務數據,整理和分析,實現了企業價值增值。
篇9
關鍵詞:大數據;信息問題;企業債券;數據挖掘
中圖分類號:F830.91 文獻標識碼:A 文章編號:1001-828X(2015)003-000-01
一、引言
目前在資本市場中主要存在兩大融資方式,一是股票融資,二是債券融資。根據國家統計局統計,2012年中國股票成交額314667.41億元,債券發行額37366.00億元。雖然說債券融資方式與股票融資方式相比,具有更大的靈活性,但從數據上來看,企業債券市值遠小于股市市值。造成這情況的原因之一就是中國的債券市場存在嚴重的信息問題。
相比較以前,由于網絡和計算機等技術的局限性致使債券市場的信息閉塞流通性差,致使債券市場發展緩慢。如今隨著大數據時代的到來,給債券市場帶來了巨大的潛力和機會。
對大數據的廣泛關注,主要是來源于維克多的一本《大數據時代》。那么什么是大數據?縱觀各個行業各個領域,都有對大數據的不同定義,在這些定義中,比較有代表性的是3V定義,即認為大數據需滿足3個特點:規模性、多樣性和高速性。雖然大數據的定義針對不同的領域和對象概念不完全相同,但是這并不影響我們實際的操作與研究。
二、大數據下債券信用風險評估的信息提取
傳統的信息不確定和不對稱的問題,使得投資人對企業價值評估不準確,進而要求高的風險溢價。從根本上講,債券市場同股票市場一樣,受宏觀經濟面如貨幣政策、市場信心等市場信息因素的影響。Galai以宏觀市場的定價行為作為衡量信息不對稱的程度,說明了信息不對稱情況下,存在信用利差進而影響企業債券估價。Moerman通過研究發現,二級市場中買賣價差與債券的利率利差存在正相關關系,買賣價差與債券的期限呈現正相關的關系。從宏觀角度講,能夠影響企業債券價值的因素有市場利率、票面利率、交易量、債券剩余期限、通貨膨脹率等。以大數據的視角可以將這些因素統歸于“利率”,因為宏觀經濟的各種指標最終都會以利率的形勢表現出來。
另外,從微觀風險信息的角度出發,內部的經營問題也可能會迫使企業在債券到期無力償還,導致投資者面臨違約風險。Duffie以不完全的會計信息作為指標,提出會計信息不完整會使投資者錯誤的評估公司的實際價值,結果是要求公司產生高的風險溢價。Hong(2000)認為公司歷史越悠久就能越好的提供更多的有價值的信息,從而降低了這種信息不確定性,降低風險溢價。微觀層面影響的企業債券價值的信息,其實是對企業的運營狀況、財務狀況等的一個反應,都體現對公司“信用”的評級。
以“利率”和“信用”為給定關鍵字后,利用大數據搜索技術,從而找到更多企業信息,對企業債券評估具有很高的價值,運用數據挖掘技術有可以從大量的信息中提出影響企業價值的因素,這樣可以有效的解決以往的信息不確定和信息不對稱的問題。
三、大數據挖掘技術在債券信用風險估計中的應用
大數據下,我們面對的是多種多樣紛繁復雜的數據,關于企業的信息有些是我們需要的,但是很大一部分是無關聯的數據,所以采取新型的數據挖掘技術,找到哪些因素能夠影響企業價值才是最關鍵的。數據挖掘就是大量的數據中,找到其中隱含的、我們看不見的、有價值的信息。數據挖掘技術有很多種,比較常見的有關聯規則、神經網絡、決策樹等方法。這些方法中很多可以運用到債券估價模型上。
在當下流行的關聯分析算法中,比較有影響力的是Apriori算法。該算法通過多次循環提取,盡可能減小候選集的規模,最終形成強關聯集合。這種關聯規則可以應用到對影響企業債券信息的初期處理之中,找出哪些因素能夠對債券價值有影響,通過關聯規則可以實現數據的初期整合,刪除無影響的信息。
決策樹是一種預測分類方法,其目的是對數據集訓集進行分類,找出有價值的,隱含的信息。J.R.Quinlan提出的ID3算法根據信息增益最大化為主要屬性設置決策樹的節點,然后在各支樹上采用遞歸算法建立分支樹。決策樹可以用于對企業價值信息進行分類估價,建立信用風險模型。通過決策樹對信息的分類,達到評價企業信用風險等級評價的目的。
神經網絡算法是模擬人體細胞間的神經元,通過訓練實現分級、聚合等多種數據挖掘目標。神經網絡技術在債券市場的研究也日趨成熟,Coasts講神經網絡應用于公司財務狀況評價,發現利用神經網絡預測正確率在93%。所以,利用神經網絡數據挖掘可以根據提取、篩選、分類后的數據進行債券價格的預測。
通過以上3種數據挖掘技術在債券市場上的應用,可以很好的分析企業價值信息。關聯分析可以對找出相關信息,決策樹可以對信息進行分類,神經網絡可以對債券價值做一個很好的預測。
四、總結
本文首先分析了債券市場上的信息問題給企業債券風險評估帶來的不良影響。針對時代背景,對大數據時代做了一個概念性的認識。通過對以往文獻的研究,找出一些能夠影響企業債券價值信息的因素,從宏觀和微觀兩個方面來對這些因素進行分析和歸類。然后用大數據挖掘技術在債券市場上的信息挖掘的應用,關聯分析可以對找出相關信息,決策樹可以對信息進行分類,神經網絡可以對債券價值做一個很好的預測。經過研究數據挖掘技術在債券估計中有著很好的前景。
參考文獻:
[1]Copeland,T.,and Galai,D.Information Effects on the Bid-AskSpread[J].The Journal of Finance,1983(38):1457-1469.
篇10
人是創造大數據的主體。我國企業身居世界人口最多的國家,創造大數據的速度正在接近或超過發達國家。我國至今有5.64億網民、4.2億手機用戶。他們的各類活動通過互聯網或通訊手段不斷地輸送給企業海量的數據。在大數據背景下,我國企業應盡快地將已有的企業管理決策模式改變為“數據驅動的決策管理”。
人們熟知的企業決策管理是指企業在特定條件下,從決策目標的確定、信息收集、建立多個決策方案、尋找優化方案、執行方案及反饋控制等6個環節的活動管理。這個定義中“信息收集”與大數據密切相關。對于如何達到高水平的企業決策管理境界,管理學者有不同的解釋。比如,美國密歇根大學的弗蘭克 ? 耶茨(Frank Yates)認為成功的企業決策需要有10個關鍵的步驟:需求(need)、模式(mode)、投入(investment)、選擇(options)、可能性(possibility)、判定(judgment)、價值(value)、交換(trade offs)、接受度(acceptability)、執行(implementation)。根據上述的企業決策管理定義,耶茨的理念大致地分化為“需求”屬于“決策目標的確定”的范疇;“投入”與企業特定條件,諸如物資資源和成本有關;“可能性”、“接受度”和“價值”與“反饋控制”和企業特定條件,諸如投資者和市場反應有關;“交換”和“判定”則是“尋找優化方案”;“執行”與“執行方案”是一致的。如此分析看來,耶茨的模型忽略了現代企業最重要的基礎――大數據!它引起了企業決策根本性的改變。
如何提倡大數據背景下的新的企業決策管理模式呢?筆者認為,答案之一是將已知的企業決策管理修正為“數據驅動的企業決策管理”(Data-Driven Enterprise Decision Management)。要建立這樣一個新的企業決策管理方法,首先要對大數據有一定的了解。
大數據展示了4個“V”的特征:即體量大(volume)、狀態多(variety)、生成快(velocity)和含有高價值(value)。其中前3個“V”都給數據收集與預處理帶來了高難度。如何快捷地將大數據從非結構化或半結構化(諸如音像、圖片、文字等)狀態轉化為類似結構化的多維數據表格以便計算機能高效地處理和清洗,是每個企業面臨的巨大挑戰。至今還沒有能統一處理大數據前3個“V”的標準技術。大數據的第4個“V”(value)表示大數據在其低密度的價值中含有巨大的看不見的高價值。尋找大數據的高價值必須像從金礦中淘金一樣要進行數據挖掘。
其實,過去十幾年的數據挖掘的方法和技術就可以用于企業決策的重新制定。其中最重要的方法之一是1999年歐盟起草的稱為“跨行業數據挖掘過程標準”(cross-industry standard process for data mining,CRISP-DM)。這個標準已普遍被許多數據分析軟件公司采用,例如SPSS,NCR等運用于其高級數據挖掘工具的開發中。我們可以將CRISP-DM的6個階段(見圖1)運用于企業決策管理的6個環節中,從而建立數據驅動的企業決策管理模式(如圖2)。