數據平臺范文10篇

時間:2024-03-18 10:49:03

導語:這里是公務員之家根據多年的文秘經驗,為你推薦的十篇數據平臺范文,還可以咨詢客服老師獲取更多原創文章,歡迎參考。

數據平臺

主題數據平臺分析論文

摘要本文在解決遠程開放教育系統的信息孤島問題的基礎上,總結出了一個通用的主題數據平臺架構。并進一步針對它在不同的環境、采用不同的策略,給出了實現框架。

關鍵詞SOA;數據平臺;信息暴露

1引言

本課題來源于中央廣播電視大學教務管理系統的后續開發。隨著中央電大在開放式教育思想指導下的教學改革的展開,系統業務量急劇猛增,原有的教學管理系統已經逐漸的滿足不了應用需求。所以新一代教學管理系統正在開發中,同時由于教育業務本身的連貫性,導致了新舊系統并行的局面出現。但是由于新舊系統間缺少關聯和通信以及必要的規范,導致信息“孤島”現象嚴重,而舊系統又恰恰是電大不可放棄的重要投資。同時由于各個系統集成度不足,運行業務的數據庫和應用程序也是在不同時期部署的,它們來自不同的供應商,使用各不相同的定制技術。從而面臨著如何構建一個強壯的、可靠的,將新舊系統中的分散功能組織成可共用的標準服務來滿足業務要求的平臺,成為我們需要研究的難點。

通過實踐我們可以發現,應用程序始終都與數據有關,企業級的服務程序更是如此。今天,企業應用程序開發中有高達70%的時間都是用于訪問不同的數據。因此,對企業信息和數據按業務邏輯進行梳理和抽取,形成企業數據的統一表現實體,該實體可以在全企業范圍內得到一致性的使用,是邁向面向服務的體系架構的第一步。因此我們提出了主題數據平臺的概念。

2主題數據平臺結構

查看全文

政務大數據管理平臺規劃與技術研究

摘要:政務大數據管理平臺建設的背景是優化營商環境、促進政務服務改革,以“數據多跑腿、群眾少跑腿”為目的,促進政務數據共享交換,提升政府服務能力、城市智慧管理能力。近年來在大數據技術快速發展的背景下,我國已經開始創建政務大數據平臺,獲得了一定的成績。新時期為制定與我國政務工作需求相適應的政務大數據平臺的建設策略,文章提出幾點戰略規劃建議,旨在為提升政務大數據管理平臺的規劃建設效果提供幫助。

關鍵詞:政務大數據管理平臺;戰略規劃;技術政務

大數據管理平臺主要就是政府進行數據管理的系統,具有5V屬性,主要就是容量、速率、多樣性、真實性、價值,從宏觀層面來講,政務大數據主要就是面向政府或者是政府自由的數據,涉及到生活、服務與公共三項數據。為了能夠提升政府大數據的管理效果,應著重構建有關的管理平臺,制定相應的戰略規劃,合理使用先進技術,確保有關的管理平臺良好發展。為了更好的完成政務大數據管理平臺的建設工作,應該完善戰略規劃,合理使用先進技術,積極構建數據歸集交換、數據管理與統一身份認證的相關平臺,完善有關平臺的政務大數據管理功能,保證各項工作的高質量、有序性開展。

1合理建設數據歸集交換的數據管理平臺

1.1平臺的構建要求。對于數據歸集交換平臺而言,主要就是面向政務部門,合理使用完善的網絡信息基礎設施與優勢性的資源,在資源共享、業務協同的過程中,提升區域之內的信息資源共享效果,達到良好的網絡互通的目的,預防出現重復建設問題、縱強橫弱問題、信息孤島問題等等,使得各級政府部門都能夠在數據交換的過程中,有著集約化、具體性的指導。數據歸集交換平臺的建設,主要是依托國家電子政務外網,在合理利用原本系統的同時,對其進行擴容處理和優化處理,建設出多級條塊都能融會貫通、運行管理性能和效果較高、自控能力良好、持續性擴展性能強的平臺。在建設平臺的過程中,應遵循節約投資的基本原則,盡可能提升各種基礎設施的應用效率,創建完善的多交換域模式,增強平臺的交換能力、效率,確保平臺管理效果和數據采集效果,在優化并且拓展相關框架的同時,使得平臺之內更好的容納各級政府的數據共享、交換,符合政府在數據共享方面與交換方面的根本需求。1.2平臺的戰略規劃。具體的數據歸集平臺建設和發展過程中,應結合政務信息化發展的根本需求,將基礎性的網絡設施、安全體系當做是載體,按照電子政務的發展需求制定統一規范、平臺與設計的戰略規劃,使得平臺建設工作能夠向著標準化、制度化、規范化的方向發展。政府部門在有關的平臺中可以對數據進行系統性的分析,梳理目錄的同時可以更好地實現信息交換的目的,也可以在平臺中各種資源,訂閱相關的信息,對政務數據進行統一性的共享與交換處理。在設計平臺的過程中,應保證其在人口、法人、地理信息、宏觀經濟四大庫有著專門的信息交換域,可以為進一步開展民生資金方面、財稅增收方面、經濟運行監測方面的政務業務的協同工作提供基礎、支撐。在制定戰略規劃的過程中,應按照政府部門的具體需求,遵循著安全性原則、穩定性原則、標準型原則等等,完善平臺的可維護性能、廣泛應用的性能、拓展性延展性的性能。①應該遵循標準性的戰略規劃原則,根據有關的法律制度、行業技術標準等,在確保合理共享政務信息資源的同時,增強信息交換的效果,盡可能使用統一性的基礎設施與產品,增強其中信息交換系統的穩定性,保證通用性,健全有關的數據構架,爭取在戰略規劃的過程中提升平臺的標準化程度[1]。②遵循先進性的戰略規劃原則,創建耦合性較低的軟件架構,利用先進的軟件設計良好運行的軟件系統,保證系統的先進性,同時還需將行業標準當做是基礎部分,運用先進的技術工具,確保系統具有一定的通用性,可以針對信息資源全面的共享處理。③遵循安全性的戰略規劃原則。就是在規劃的過程中設置有關的管理維護模式,保證所使用的基礎設施部分、中間設備部分、軟件硬件部分的安全性,在規劃建設平臺的過程中,選用與標準相符的基礎設施,創建科學化、有效性的信息安全管控體系,完善其中的CA認證模式和SSL功能。④遵循實用性的戰略規劃基本原則,形成正確的平臺構建和設計觀念意識,完善其中的方案內容,在確保系統性能的同時,提升平臺運行的合理性,確保平臺運作的適用性,可以在具體工作中有效解決和應對問題,保證平臺建設的實用性。⑤遵循靈活性的戰略規劃原則,將API接口當做是基礎部分,在其中設置適配器工具,保證內部系統和外部系統之間的良好對接,在增強系統運行穩定性的同時,改善系統在發展過程中的松耦合性,使得系統之內的資源可以高效性的整合運用。除此之外,戰略規劃期間還應該遵循可管理性、可擴展性的基本原則,形成良好的數據歸集處理平臺[2]。1.3具體的技術措施。如圖1所示,數據歸集平臺屬于數據共享平臺中的一部分,構建政務大數據歸集管理平臺的過程中,應該完善相關的標準規范體系,統一的數據交換、運行管理、平臺對接等規范內容,在規范性應用技術的同時不斷增強相關的平臺建設效果。在應用技術的過程中,主要的要求為:①明確有關的平臺建設內容,就是要進行交換管理平臺的良好建設,保證分布式的各個節點服務器都能夠統一性的接入處理,確保區級的業務都可以全面性的覆蓋連接,保證數據歸集交換平臺具備穩定運行的性能,可以增強數據傳遞的安全性與可靠性。應該構建交換業務的多域管理模式,保證各種業務域都能夠更好的進行交換邏輯隔離。同時還需對政務資源進行統一性的目錄處理,融入到有關的數據歸集交換平臺中,統一開展政務數據的管理工作。②具體的建設工作中應該遵循統一性的技術規劃原則,將政務數據資源的交換需求當做是基礎部分,全面進行部署、逐漸落實各類工作,因地制宜的整合資源,遵守著經濟性原則、實用性原則,按照政務部門的具體發展、信息化的現狀,明確有關的數據歸集交換平臺的規模和標準,使用信息技術、大數據技術等全面進行信息資源的整合,以此減少平臺構建的成本。在建設期間還應該借鑒國內外的成功經驗,確保所使用技術的先進性和規范性[3]。

2合理建設系統化的數據管理平臺

查看全文

本體電子政務數據平臺研究運用

全球性的網絡化、信息化進程正改變著人們的生活方式,Internet技術應用以及電子商務的飛速增長給人們生活工作的各個層面帶來了深刻的影響。隨著計算機與網絡技術的迅猛發展,“政府信息化”越來越受到政府機關的重視,各地政府機關紛紛開始建立電子政務業務系統。目前大多數政府機關已建立了大量的信息系統,例如檔案管理系統、稅務系統、工資系統、人事管理系統、OA系統、公共服務一卡通、資產管理系統等。但眾多業務應用系統相互獨立,它們各自采用不同平臺、不同數據庫、不同編碼,致使各業務系統之間的數據交換和信息資源共享存在困難,信息孤島現象明顯¨1]。

同時,眾多的應用系統所帶來的身份的認證和管理的復雜性既使得管理成本不能降低,又使得整個系統的安全性、可整合性降低,這已成為電子政務信息管理系統進一步發展的瓶頸所在。因此,要想改變電子政務信息化水平的現狀,整合信息資源,解決“信息孤島”問題,就必須建立一個公共數據平臺,它是在政府部門原有的各業務系統層面上搭建的一個高層應用平臺,將各業務系統的異構數據集成應用,向下屏蔽各異構信息源異構性,向上提供數據集成基礎服務,實現各種信息系統的互通互聯和數據共享、數據的一致性,并在此基礎上實現規范的信息管理。近年來,隨著語義Web的發展,其核心技術本體在數據集成方面得到了應用。本體作為共享領域概念模型,可以通過定義領域內一致的術語和術語間的關系來描述異構信息源的語義信息,從而消除異構數據源的語義沖突。

在國外,對本體的研究較早,本體已經應用到各個領域。相比國外,國內對本體的研究起步較晚,尤其是在電子政務方面,缺乏一致的本體模型,相關的應用也少。目前,本體技術很少在電子政務信息化建設中應用,因此,如何把本體技術應用到電子政務異構數據管理集成中,采取何種策略進行構建,消除電子政務各信息系統異構數據庫模式的語義沖突,從而解決電子政務中異構系統導致的信息孤島問題,構建統一的數據平臺,以便提高政府管理效率,就顯得尤為重要。

1電子政務與本體

1.1電子政務與本體概述

電子政務是政府機構廣泛深入地應用現代信息和通信技術,將政府內部和外部(社會)的責權與職能通過計算機網絡硬件和軟件技術進行集成、整合、優化、重組,做到跨越時間和空間,突破部門分割和傳統組織、工作方法與工作流程的限制,力求全方位地、有效地施行與提供安全、高效、優質、規范和符合國際水準的管理與服務。本體是為了某種目的描述世界時的一組抽象化概念,并且該組概念是得到廣泛認可的、以規范化形式描述的。根據定義描述本體時目的的不同,本體可以分為多種類型,依照領域依賴程度,可以細分為頂級(top—leve1)、領域(domain)、任務(task)和應用(application),這里研究的是領域本體,領域本體由屬性、對象、關系和子領域本體組成。引入本體的思想,借助本體對領域知識進行詳細描述,以抽象出概念化的語義層次,為進一步研究語義化的信息交互提供了基本的語義層次2J。從形式上來說,本體由概念、關系、函數、公理和實例5種元素組成。本體中的概念可以是一般意義上的概念,也可以是任務、功能、行為、策略推理過程等;關系表示概念之間的關聯;函數則是一種特殊的關系;公理用于表示一些永真式;實例是指屬于某種概念的基本元素,即某概念類所指的具體實例。

查看全文

智慧校園數據集成共享平臺探討

摘要:為了解決高校各業務系統在信息化建設過程中,由于建設時間和空間上的差異,出現的“信息孤島”現象和數據離散、異構等問題,提出一種基于ODI的智慧校園數據集成共享平臺。平臺通過利用Oracle的ETL工具ODI,對各業務系統數據進行集成,并將集成后的數據共享給統一身份認證平臺以及網上辦事大廳和校園移動App中的各種應用與服務。通過平臺的構建和應用表明,業務系統的主要數據得到了治理和標準化,數據的交換和共享率也得到了很多大提升。

關鍵詞:智慧校園;數據集成;數據共享;統一身份認證;網上辦事大廳;ODI

1背景

高校信息化建設隨著云計算、物聯網、大數據、智能感知等新興信息技術的不斷發展已經步入智慧校園建設階段,而高校在信息化發展的過程中,由于缺乏有效合理的規劃和協調,各業務部門根據自己的需求建設了眾多業務系統,出現了“信息孤島”現象,形成了數據類型和數據訪問方式多樣,數據標準不統一等問題,并且隨著時間的發展累積了大量的業務和數據資源,冗余數據和垃圾數據都普遍存在于業務系統中[1-4]。這些問題嚴重阻礙了智慧校園建設的進程,導致在數據層面,數據私有化,數據流動性不強,數據質量不高,各業務系統產生的數據無法交換、共享,無法發揮大數據的作用;業務層面,校內業務系統相互隔離,各應用之間的融合度不高[4-5],師生辦理業務跑路多、不方便。為了解決上述問題,數據的集成和共享勢在必行,數據集成是把不同來源、格式、特點、性質的數據在邏輯上或物理上有機地集中,從而為用戶提供全面的數據共享,數據只有通過共享,才能保證數據的一致,減少冗余,提高利用率[6],實現數據的流動和業務的融合。本文提出一種基于ODI(OracleDataInte⁃grator)的智慧校園數據集成共享平臺,利用Oracle的ETL(Ex⁃tract-Transform-Load)工具ODI對各業務系統產生的源數據進行抽取、清洗和轉換后,將數據共享給統一身份認證平臺以及網上辦事大廳和校園移動App中的各業務系統、表單流程和服務,實現數據的交換、共享和流動;師生通過統一身份認證訪問網上辦事大廳和校園移動App中的各種業務和服務,實現單點登錄和業務的融合。

2智慧校園數據集成共享平臺架構

針對智慧校園建設充分整合信息資源和應用資源的需求,本文提出的智慧校園數據集成共享平臺主要包括數據源層、數據處理層、數據存儲與管理層和數據應用與服務層,如圖1所示。數據源層,主要是作為數據源的各業務系統的數據,包括結構化和非結構化的數據,利用ETL工具抽取到數據處理層。數據處理層根據國家規范標準和學校標準,對抽取過來的源數據進行清洗和轉換后,存儲到數據中心。數據存儲與管理層主要是對數據的存儲和管理。其中,元數據管理的目的是在建立元數據標準的基礎上,統一進行數據抽取、清洗和轉換,以實現對各業務系統數據的整合[3]。主數據是全校范圍統一標準和規范的數據,以解決異構系統之間關鍵數據的不一致、不正確、不完整等問題。數據中心則以數據庫的形式存儲集成后的數據,主要用于各業務系統的數據共享、綜合查詢以及數據分析與挖掘等。數據應用與服務層是應用和服務集中展示層,網上辦事大廳和校園移動App將各種應用、工作流流程、綜合化查詢、表單制作和服務集成到同一平臺,并作為進入應用和服務的唯一門戶。師生通過統一身份認證平臺對身份的合法認證之后進入網上辦事大廳和校園移動App,便可在該平臺根據角色的不同快速找到符合角色的服務。

查看全文

畜牧業管理平臺搭建與數據挖掘

摘要:基于紅河州高原特色畜牧業發展信息化管理平臺成功搭建和兩年有效運行,文章從數據收集的管理體制基礎、平臺開發基礎和日常管理制度等幾方面詳細介紹畜牧業數據管理平臺的搭建,并從規模養殖場數據采集、散養戶數據采集、價格數據采集、臨時數據采集等幾方面介紹畜牧業數據的挖掘利用,以及提取相關數據形成展示頁面的功能。

關鍵詞:畜牧業;大數據;采集;管理;挖掘

傳統畜牧業數據的收集過程比較復雜,數據分散,無法長期保存和難以深入挖掘利用,信息孤島嚴重。以物聯網、云計算、大數據以及人工智能為代表的新一輪信息技術革命推動粗放式傳統畜牧養殖向知識型、技術型、現代化的智慧畜牧養殖轉變,利用技術優勢已成為驅動畜牧業快速發展的重要因素[1]。搭建一個有效的數據收集管理平臺,做到日常數據實時更新、填報數據實時審核、臨時數據快速增加模塊的數據采集管理平臺就很有必要。平臺搭建完成后的數據保存、管理和挖掘利用非常方便,能夠快速形成畜牧業大數據中心。紅河哈尼族彝族自治州初步建設完成的“紅河州高原特色畜牧業發展信息化管理平臺”(以下簡稱平臺),在利用先進的信息化手段提高管理效率,縱向整合畜牧業州、縣市、鄉鎮、村(企)四級數據,橫向整合豬、雞、牛、羊等各畜種養殖信息的基礎上,基本形成了全州畜牧業大數據服務中心。

1畜牧業數據采集管理的基礎

1.1數據采集的體制基礎。紅河州按管理體制分為州、縣市和鄉鎮三級業務管理部門,這三級管理部門組成了一套完整的、運轉正常的畜牧業管理體系,基于正常的體制配備,平臺按三級劃分初步建立了數據收集管理平臺的體制。州畜牧技術推廣部門負責州級管理并向下可查詢所有數據,13個縣市畜牧技術推廣部門各安排一個管理人員和若干個業務人員(賬號級別不同)管理本級和鄉鎮數據,每個鄉鎮設置一個管理人員和若干個業務人員管理鄉鎮數據,從而形成三級聯動,每一級根據不同權限實時負責和掌握不同數據報表進度。1.2數據采集的平臺基礎。平臺設計全面采用了B/S結構,主要邏輯功能在服務器端完成[2]。州、縣市和鄉鎮三級畜牧管理部門用戶操作完全通過www瀏覽器實現,形成3-tier結構[3]。全州一套平臺,程序維護開發全部由州級完成。在設計上,為了保證平臺運行的穩定性和可擴充性,采用了模塊化結構設計,使用了友好的圖形圖像界面,最終實現所有管理操作網絡化,節約了大量后期開發和維護成本。同時采用了地理信息技術展示轄區內養殖場的分布,此設計基于主流WebGIS開源框架OpenLayers[4]開發,能夠展示所有養殖場地理位置分布、查看養殖場衛星圖、瀏覽養殖場基本信息等。1.3數據采集的制度基礎。為了有效地收集和管理數據,數據收集實行“周五數據日”制度。每個周五為數據集中上報日,當天各級管理人員均在線上報、審核數據和管理維護日常養殖場的基本信息。同時,平臺實行進度跟蹤制度,每一級數據的填報進度自動計算更新率,各級按更新百分率進行跟蹤,有利于實時查看數據的更新進度。例如,州級規定所有養殖場基本數據最少一個季度更新一輪,那么在本季度的3個月中,每個月的更新率應該達到33.33%以上,否則會提醒相關管理員加強維護數據。

2畜牧業數據的挖掘與利用

查看全文

農業大數據應用策略及平臺構建

摘要:文章通過對農業大數據及其在農產品銷售中的作用的分析,探討農業大數據在助力農產品營銷、提升農產品電子銷售運輸,創新農業營銷活動,提高使用者業務能力等方面的應用效果,以期為未來農業發展有所貢獻。

關鍵詞:農業大數據;大數據分析;平臺構建

1農產品銷售中大數據的作用

1.1農業大數據有助于確保農作物農產品的質量。農業大數據平臺使人們可以更好地了解農業實踐并利用由農業部提供的科學,技術和氣象信息大數據確保作物質量和生產力。1.2農業大數據節省了農產品的銷售成本。大數據節省了農產品銷售的大部分市場研究成本。根據實時數據,以實現對農產品和銷售市場的了解;農業大數據除了提供有關農產品價格的實時信息之外,還節省了營銷成本,并促進了農產品的購買,買賣雙方通過信息平臺相互了解,基于自身需求訪問和購買數據,這使得農產品的銷售更加方便快捷。1.3大數據技術可以實現農產品的電商銷售。比如美團生鮮、京東生鮮等都推出了農產品銷售的電商平臺。通過使用大數據來分析農產品消費者的購買習慣,從而進行針對性的營銷,精確開發潛在客戶。

2農業大數據的應用策略

2.1農業大數據+農產品營銷。2.1.1通過大數據精準定位目標客戶。在農業綜合企業平臺上使用大數據來分析和處理數據,可以使農業商品生產商更好地了解客戶群,從而精準營銷和目標廣告投放。農產品營銷不再是“廣撒網”,而是有針對性。例如,向喜歡使用QQ的客戶發送消息,向喜歡使用郵件的客戶發送郵件,給優先客戶回電或在線維護。實踐表明,精確廣告不僅可以節省企業的成本,還可以避免不必要的浪費,通過精確的信息推送,滿足客戶需求。2.1.2通過農業大數據打造新的農產品營銷。當今世界處于數字化媒體時代,農產品銷售也需要利用農業大數據建立新媒體營銷團隊,開展新媒體宣傳活動,吸引客戶。例如利用抖音短視頻現場直播農產品的過程,定期組織優惠活動鼓勵消費者購買等。2.1.3農業大數據可用于提供個性化的營銷服務。農業大數據為消費者提供海量的信息,這也使消費者的選擇范圍更廣,因此銷售信息需要基于客戶的個性化需求呈現,通過個性化的營銷策略使客戶成為粉絲,例如引入動態農產品電子商務網頁,動態頁面更新與數據庫相關的銷售信息,為消費者提供個性化和準確的服務。2.2利用大數據提升農產品電子商務的運輸與跟蹤。2.2.1利用農業大數據改善農產品運輸管理。通過大規模的數據建立快速響應、層次豐富、覆蓋面積大、物流系統完善的服務,從而確保農產品的運輸和保存。大型農業數據平臺可以將農業生產區與加工區連接起來,通過非結構化系統數據(例如用于物流管理的條形碼和二維碼)打造網上農產品供應鏈。2.2.2借助農業數據實現農產品安全監測。近年來,有關糧食安全的負面信息頻發,糧食安全問題已引起社會各界的普遍關注。利用農業大數據可以確保對農業生產和消費的不同環節進行實時監控和有效追溯,幫助監管者制定決策,并賦予消費者權力,在監視農產品生產者和分銷者的同時保證產品安全。此外,依靠大型農業數據平臺對農產品的動態反應,也可了解消費者的需求和喜好,從而有助于改進產品質量,優化生產策略。2.2.3完善農產品售后服務的控制和檢查。農產品質量控制部門應規范農產品檢驗程序,定期檢測和抽查,并加大對不合格農產品的制裁力度,以確保食品的安全。2.3通過大數據創新農業營銷相關活動。企業通過分析耕地數據制定具有針對性的農產品種植計劃,及時了解市場信息,這有助于提高資源利用率,為農民帶來更多收益。通過利用農業大數據將金融服務公司與農民聯系起來,可以提高農業金融活動的效率,評估和轉移與農業活動有關的風險。此外,農業金融公司可以在融資的同時制定一套農產品加工和營銷計劃,以幫助農民,尤其是邊遠地區的農民解決農產品的銷售問題。

查看全文

大數據創新實踐教學平臺建設分析

摘要:在教育部發展數據科學與大數據技術專業的背景下,本文以貴州理工學院阿里巴巴大數據學院為依托,以數據科學與大數據技術專業學生為研究對象,通過與阿里云和慧科集團進行校企合作,提出了大數據專業創新實踐教學平臺的建設思路,對實踐平臺中的智慧教室和智慧學習管理系統進行了闡述,為培養大數據人才提供創新實踐教學平臺。

關鍵詞:新工科;大數據;校企合作;實踐教學平臺

1引言

國家十三五規劃綱要中明確提出:“實施國家大數據戰略,推進數據資源開放共享”。在這樣的契機下,大數據領域必將迎來建設高峰和投資良機,而推動大數據發展不僅依靠國家戰略與相關政策的支持,更需要大數據相關人才的支撐。截至2019年,在教育部每年度公布的高校新增數據科學與大數據技術專業名單中,2015年度首次獲批3所,2016年度獲批32所,2017年度獲批248所,2018年度獲批203所,共計486所[1]。該專業今后會有大量畢業生涌入市場,為市場需求填補人才空白。教育部于2017年提出了以實施“卓越工程師教育培養計劃2.0版”為抓手,把握工科的新要求、加快建設發展新興工科的號召[2]。與此同時,工業和信息化部近年來為推動我國制造業轉型升級和重塑國際競爭新優勢,相繼實施了推動互聯網+、大數據產業發展等若干重大舉措,對信息技術人才培養也提出了新的需求。為積極響應教育部和工信部的號召,本文立足產業發展對大數據技術新工科人才的需要,積極探索大數據創新實踐教學平臺的建設,助力加快大數據技術領域的新工科建設,促進大數據技術人才的培養[3]。大數據專業創新實踐教學平臺是實踐教學的重要組成部分[4]。它是支撐大數據人才培養的重要平臺,是支撐大數據學院校企聯合共建特色特點構建的核心,是大數據學院賦能學校和社會的共享平臺。創新實踐教學平臺的建設對支撐大數據專業人才培養、探索適合本校師生的混合式教學模式、構建具備創新精神的學習氛圍、促進教師水平整體提升具有重要的探索價值[5]。

2創新實踐學習智慧教室建設

智慧教室包括集翻轉課堂、實時直播、在線互動、移動學習、學習行為追蹤等多種功能為一體,導入行業前沿的應用技術及最佳實踐案例,采用新興教育技術手段打造云生態教育環境解決方案,為大數據人才培養帶來無限可能的未來實驗室。智慧教室主要包括以下幾個功能:(1)無線覆蓋。教師和學生可以在教室里下載或者上傳資源,進行云上實驗。以公有云的方式為教學提供服務,云端系統擁有全媒體學習行為跟蹤在線教學系統、前沿科技領域的在線課程體系。彈性的公有云計算服務支持大數據相關課程的實驗教學。(2)高清視頻。教師可以播放高保真視頻以及教學內容,方便學生對實驗有一個更加清晰直觀的認識。(3)互動直播。通過遠程視頻雙向互動系統模塊套裝,可以實現實時直播。教師和學生雙方可以進行現場互動,逼近真實的課堂,猶如優秀名師在現場實施教學。(4)座位靈活。通過教室里靈活多變的布線,可以靈活機動地安排實訓、討論、練習等實驗室教學安排,以便在功能性上對教室的布局進行調整。比如,教室的桌椅不僅可以拼接成傳統的四邊形上課形式,方便教師在講臺上傳授知識;還可以拼接成六邊形上課形式,方便學生成組討論。

查看全文

企業安全大數據平臺建設及實現

在不同的領域以及不同的時期,人們對于信息安全也具有不一樣的認識,并且在對于安全問題的解決上仍然存在著一定的側重面的差異性。因此需要借助于大數據技術,整合安全系統的安全信息進行關聯分析以及威脅建模,從而將其計算提速,把有效的信息從大量的日志告警的信息之中發現,將其脆弱性以及安全的威脅進行定位,并且還需要將安全的場景模型進行設計,強化針對業務的安全威脅監控,實現俯瞰企業安全狀況的安全全景視圖。

一、企業大數據平臺建設的目的與意義

現如今,企業業務的不斷發展,已經漸漸地向著采集方式、數據源的分布化、多樣化以及碎片化趨勢發展,采集分析系統中的條塊化分析將安全分析限制,將系統的分析效能嚴重的降低,因此數據采集分析的架構亟需優化,以便快速提取數據的應用價值。企業安全大數據的建設目標是基于大數據技術,實現對應用系統操作日志(4A日志)、各類設備的安全事件日志(SMP日志)、業務系統流量數據等安全數據的采集、存儲與管理的統一處理,實現4A、SMP、業務系統日志分析及報表功能的無縫遷移與性能大幅優化,進一步實現針對風險、事件等高維度的全新分析模型與技術,提供完整高效的進行安全事件的溯源和處理手段。

二、安全大數據平臺設計與實現

1、安全大數據平臺框架。通過大數據分析技術實現對企業網絡與信息安全指標呈現、安全預測/預警以及事件分析體系的研究。安全大數據的總體框架包含統一采集、數據處理、搜索引擎、挖掘分析和統一展示等模塊。2、安全數據的集中采集。安全大數據平臺采用大數據集中采集方式收集各類日志數據,日志采集主要分為4A審計日志、SMP日志、業務流量日志,實現由目前各系統獨立采集向集中化大數據架構的轉換。3、業務系統旁路流量采集。業務系統旁路流量采集主要是以網絡鏡像流量的方式采集業務系統流量,根據http協議分析、過濾、格式化以及補全操作,分析出需要的數據提交給上層數據存儲中,為業務安全模型分析提供數據基礎。4、業務安全模型分析。1、異常登錄行為分析,分析登錄日志建立模型,其特征審計模型包括維度包括:非法密碼猜解、使用程序賬號登錄、異常IP地址登錄、非正常時段登錄、維護人員共享賬號、離職人員工號非法盜用等行為進行審計分析,及時發現運維人員的違規操作。2、人員違規操作監控分析,關聯登錄日志、操作日志建立正常的人員行為特征模型:(1)學習建模;(2)冗余范圍建立:標準模型*1.2范圍;(3)根據模型的的規律,及時營業員的違規操作5、系統安全事件分析。針對安全事件發生時研究范圍中系統狀態進行分析,分析不同安全事件時各系統運行狀態與正常情況下差異。能夠提供每個信息安全資產的安全態勢,動態圖表的形式展示,訪問量趨勢圖、攻擊走勢圖等可視化圖,能夠對攻擊進行溯源分析,能夠分析攻擊的影響范圍,并能夠提供安全預警。6、安全趨勢預測。對研究范圍內業務系統的安全數據進行統一采集整理、從多個維度綜合分析,提升整體的預警能力,為系統安全預警與安全事件體系研究做出依據。同時對業務安全和系統安全所面臨的安全風險定制化模型分析的結果進行安全量化指標排名,進一步將安全風險做到可度量、可視化的動態展示。

三、實現和應用效果

查看全文

地方科技管理大數據平臺建設研究

1地方科技管理大數據的內涵與國內研究現狀

1.1地方科技管理大數據的內涵。本文所指科技管理主要是科學技術研發與應用的過程管理。傳統的地方科技管理數據是與科技管理相關各類數據集合,包括科技項目、研發機構、科研成果、專家、企業(高新型或科技型)、財政投入、政策法規等信息。從大數據概念上講,傳統的地方科技管理數據體量有限,類別也很難稱為復雜,而且大多數屬于關系型數據,無論是項目還是論文、專利、成果,價值密度都比較高,這些特點都不符合大數據的特征[6]。本文認為,如果運用大數據思維去分析,地方科技管理涉及的人力、物力、財力資源最終都會以數據的形式存儲、整合,這些數據分散于長期積累的各類電子政務系統、科技管理信息系統及其他業務系統中,如能將這些系統的數據整合與互聯網實時數據進一步擴展,此時的地方科技管理數據無論是體量還是類型復雜度、數據價值密度都將接近大數據特征。如傳統的專家庫包含的信息相對有限,如果加入專家畫像技術,通過收集專家的項目、成果、專利、論文、合作關系、同行評價、社交媒體引用熱度等,對一位專家的綜合評價就會更加準確。同樣的,單純的科技計劃項目數據難以稱為大數據,如果按照國務院辦公廳《關于印發科學數據管理辦法的通知》(國辦發[2018]17號)規定的,將每個項目涉及的科學數據與項目進行匹配,綜合財政提供的項目資金使用情況、項目中期檢查情況、財務預算及開支情況等信息,再輔以科技報告、科技成果登記等文獻資源,將在項目立項、評審專家遴選、項目實施過程管理、項目驗收及成果共享等科技管理流程發揮重要作用。1.2地方科技管理大數據的國內研究現狀。在大數據與科技管理的理論研究方面,喬曉東等[7]提出科技大數據概念,分為科技知識大數據與科技活動大數據,分別對應文獻類資源和科技活動中的實體及其關系之間的數據,進而提出一種包括資源發現、網絡檢測采集、科研分析評價、科技情報服務等綜合科技管理的大數據服務體系;袁偉等[8]從科技資源的挖掘與利用角度,提出借助大數據管理方法與模式對科技資源數據進行標準化整合匯聚,面向科技創新發展與管理決策需求深度挖掘與利用科技資源數據的對策建議;徐迪威[9]對大數據與科技管理的關系進行研究,提出基于大數據的科技管理存儲層、處理層、應用層的層次體系。在大數據與科技管理的實際應用方面,北京市科學技術委員會提出打造“首都科技大數據平臺”的口號,整合分散于各政府部門、科研機構等單位的科技資源并向社會數據需求方開放[10];貴州省借助“云上貴州”建設,提出“科技云”這一科技數據資源開發與利用的新范式[11];上海市研發公共服務平臺整合專家人才、大型儀器、科技文獻、研發基地等科技創新數據資源,建成“上海科技創新資源數據中心”[12];“內蒙古科技創新大數據平臺”分類實現服務云、管理云、數據云,實現“一站式”創新資源平臺服務[13]。

2地方科技管理大數據建設的現存問題

由于我國大數據環境下的科技管理研究尚處于起步階段,雖取得一定成果,但還存在以下問題。2.1缺少成體系的理論研究支撐。以科技管理為主題的大數據建設研究,公開的文獻報道多以平臺搭建、數據中心建設為主;對科技管理數據資源整合的標準,跨體系各分散系統的科技管理數據如何匯交,科技管理大數據平臺的基礎模型如何構建,社交媒體等互聯網數據如何融入科技管理,以及平臺安全保障及運行維護模式等方面的深入研究不多;同時,雖然對大數據技術在科技管理某些環節的應用開展了研究,但對于科技管理整體過程的體系化研究不夠全面,未能覆蓋科技管理的各個環節,如針對應用大數據優化科技管理的關鍵決策環節、優化科技管理公共服務模式等問題,缺少相關理論研究。2.2平臺重建設,輕服務。在科技管理領域,各地都紛紛開展各自的大數據平臺建設,如“首都科技大數據平臺”“內蒙古科技創新大數據平臺”“貴州科技云”“青島科技大數據平臺”“上海科技創新資源數據中心”等,重點多在于基礎環境建設及平臺搭建,在服務內容方面,大部分停留在信息整合、數據初步分析等粗加工服務模式[14]。“上海科技創新資源數據中心”提供以各類情報分析產品為代表的科技管理數據精加工服務,而在時下熱門的精準化定制及智能決策支撐等創新服務模式方面未見過多涉及。2.3缺少特色數據,數據應用能力較弱。已有研究成果在研究或實現科技管理大數據時,多將專利、期刊論文、成果等科技文獻元數據作為大數據的主要來源,雖然在一定程度上保證了科技管理大數據的體量,但缺少深度挖掘(如基于科技文獻的專家畫像、科研合作關系發現、專家及人才評價等),也缺少特色的科技管理數據(如項目管理過程數據、科技成果登記數據、財政支付財務數據等),最終實現的科技管理服務僅是常規科技管理的信息化展示。除此之外,各大數據平臺提供的數據開放、創新輔助等公共服務能力較弱,社會公眾對科技管理大數據的獲取及應用熱情不高,影響平臺的社會價值。2.4存在數據主權爭議、涉密數據安全難以保障。由于科技管理業務的條塊化分割及其他方面的原因,大多數數據處于碎片化存儲階段,各省很難有同一機構保存科技管理的全部或者大多數原始數據,也很難在所有權層面實現科技資源的重新整合。雖然有學者提出“科技云”這一概念,以期在資源供給層面減少科技信息資源服務的復雜性,但實際操作中總在一些技術層面存在無法逾越的壁壘,需要通過研究相關理論、制定相關政策法律等以保障實施。科技管理部門并非不愿意主動開放科技管理大數據平臺,很大一部分原因是地方科技管理部門對科技管理數據的研究并不充分,對相關數據哪些可以公開、哪些包含隱私信息、是否涉密等問題,缺少專門機構梳理和研究,在一定程度上影響了科技管理數據的有效利用。2.5缺少專業化人才團隊。科技管理大數據建設不僅需要數據科學、軟件開發等方面的技術人才,也需要相關政策理論研究人員、科研管理人員參與其中,缺少復合型的專業化人才團隊已成為地方科技管理部門開展大數據平臺建設遇到的突出問題之一,管理決策部門還停留在經驗決策階段并不擅長應用大數據環境下的分析,數據分析部門并不了解底層數據邏輯無法有效建模,平臺開發人員不理解科技管理業務邏輯無法有效設計并開發數據模型及業務系統接口,科研管理人員對科技管理大數據應用的需求也很難轉化為大數據平臺開發者需要的模型。

3地方科技管理大數據平臺模型及服務模式實例

在科技管理大數據平臺建設方面,已開展了一些共性方面的研究,比較一致的做法是將科技管理大數據平臺按科技管理服務內容劃分為若干子平臺。如許秀梅[15]提出的基礎條件子平臺、科技研發服務子平臺、成果轉化與交易子平臺、產業科技大數據服務平臺;李歡[16]提出的科技戰略子平臺、技術產業化平臺、科技研發子平臺等。這些平臺構建模型,根據科技管理各項業務進行劃分,是對現有科技管理體系的改良,將原先分散在各個不同機構的科技管理業務整合到一個平臺上,從而解決原先各個科技管理業務系統間相互關聯性不足的問題。2017年,安徽省科學技術情報研究所提出“十三五”期間要建成“一個智庫、一個中心、一個服務基地”,其中“一個中心”即建成科技管理大數據中心。本文以此為實例探討科技管理大數據平臺建設實踐問題。3.1數據融合策略。通過安徽省科技管理大數據平臺建設項目實踐,本文提出科技管理大數據整合的策略:一是盡可能升級系統,拓展數據接口,互通互享公開信息;二是某個機構承接科技管理數據的使用權;三是通過制定統一的數據匯交標準、數據匯交管理辦法等搜集科技管理數據;四是必須與有知識產權的數據商合作。通過上述策略,實現從離散數據到大數據,從大數據到大情報,從大情報到大決策的轉變。在大數據管理及數據融合方面,采取行政手段與數據交換相結合的方式,一是將原有安徽省科技管理信息系統升級,并預留與其他業務系統的接口,如安徽省政務服務系統、科技文獻服務平臺、科技成果登記系統、科技報告服務系統、成果獎勵系統、各類科技統計系統、財政支付平臺等;二是將不適宜重構的其他科技管理大數據相關業務系統的業務、管理與后臺支撐分離,不影響業務的開展,同時將數據的使用權集中于一個機構;三是對于極少部分存在數據主權爭議的系統,通過行政手段制定數據交換制度,雖然在一定程度上影響了數據的時效,但保證了科技管理大數據的完整性;四是采購專業數據商的可信社交媒體數據,并與專業數據商合作,開展全部科技管理大數據整合加工工作。3.2平臺模型與服務模式。在盡可能獲取科技管理相關大數據的基礎上,借鑒吳信東等[17]提出的“從大數據到大知識”的HACE+BigKE模型,提出安徽省科技管理大數據平臺數據融合框架及平臺整體架構(見圖1)。該模型主要展現地方科技管理大數據池的數據來源,包括科技計劃項目、科技成果登記、科技統計數據、地方專家庫、專利信息服務及科技成果獎勵等;單位自建的科技文獻平臺及可交換數據的大型儀器共享平臺等;采購來自專業數據商的社交媒體數據。同時,該模型還實現了安徽省科技管理大數據平臺主體架構。數據池外層是各項數據挖掘算法,如最基礎的中文分詞系統,專家畫像所需的聚類及關聯規則算法,項目評審所需的基于深度學習的專家推薦系統,成果轉化推薦所需的協同過濾算法等。最外層是整個科技管理大數據的統一服務平臺,對外主要分為四大類服務,即面向社會公眾的開放數據服務、基礎條件服務、統計分析服務等,面向宏觀科技管理決策的深度分析與情報支撐服務,面向科技研發的嵌入式信息服務,面向成果產業化的技術轉移與成果推介服務等。同時,還需要有移動App及微信小程序等移動端服務的支撐,以適應當前用戶的使用習慣。本文以面向科技研發的嵌入式信息服務為例,說明地方科技管理大數據平臺如何嵌入科研項目流程,提供面向科技研發的嵌入式信息服務(見圖2)。面向科技研發的嵌入式信息服務需要結合創新主體的科技研發需求,主動對接、參與重大科研項目的研發活動,體現對重大科研項目的支撐作用,主要實現科技文獻輔助、專利分析支持、創新資訊檢索、文獻資源檢索、科技政策咨詢、技術難題找專家或團隊等業務功能,實現以科技項目研發活動為中心,嵌入科技研發鏈各個環節,面向重大科研項目的精準化、鏈條化信息服務模式。

查看全文

高職公共數據平臺安全建設分析

摘要:伴隨著社會的不斷進步,高等職業院校的教育也在不斷的改革以及提升,有關的教育部門對公平數平臺的安全建設越來越重視。對于高職院校來說,公平數據有著能夠把院校日常管理進行有效的推動,與此同時,高職院校也將其作為人才培養的重要設施。把公共數據平臺進行合理的利用,在問題查找的時候可以更加的快速,把高職院校的特點以及有點給戰士了出來,在校園的日常事務管理當中也起到了很好的效果,現在的高職院校在進行建設公共數據平臺的時候會發現一些問題,每個子系統里面的數據沒有辦法進行共享,這個問題的出現給公共數據平臺帶來了極大的危險,需要將科學的管理方法融入其中,讓每個子系統可以無間隙的融合。通過對高職院校公共數據平臺安全建設進行分析,希望能夠將高職院的信息數據安全能夠安全的發展。

關鍵詞:高職院校;公共數據平臺;安全建設;分析

現在的市場經濟的發展速度愈發的快速,國家對高等職業教育的發展也重視起來,并提出了相關的戰略計劃,讓高職院校的發展能夠更加的迅速,近幾年,高職院校的規模在全國都在一直的擴大,為了促進高職院校的發展,高職院校的教學體系以及安全管理正慢慢的完善起來,但還是有一些高職院校的相關水平達不到維持發展的要求,需要根據院校自身的情況來把業務進行拓展,讓每個業務可以結合起來組合成一個完善以及安全的公共數據平臺,只有通過這樣的手段才可以把每個業務之間的信息進行共享,把院校的教學質量和教學生平提高起來。在把數量比較大的信息數據資源進行整理的時候,需要把信息資源的優勢給整理出來,讓他們的優勢發揮出來。高職院校在進行公共數據平臺建設的時候,會被業界各方討論,教育部在這方面需要對高職院校進行傳統觀念的改變,將意識轉變過來,把公共數據平臺的安全建設融入進高職院校當中,把院校的信息管理不斷的更新、完善,把公共數據平臺安全建設進行加強,這樣才可以把高職院校的教學水平給提高起來[1]。

1建設高職院校的公共數據平臺的重要性

1.1公共數據平臺可以為高職院校提供相關的信息依據公共數據平臺的建設需要把教育部門所的文件以及評估的標準用來進行參考,所以公共數據平臺和我們國家的教育改革發展有相同的方向,在進行公共數據平臺建設的時候,可把高職院校的教育重點工作給體現出來,還可以體現出教育改革和發展方向的重要性。在進行制定公共數據平臺的時候,可以從中挖取出高職院校的特點和人才培養的方向,這也可以把高職院校的基礎信息以及社會的響應力給體現出來[2]。1.2公共數據平臺可以把數據信息進行整合。高職院校在李彤公共數據平臺的時候,用的主要方法是分析統計法,把院校里面的各種信息數據整理起來,然后通過轉換變成院校希望得到的信息數據,把這些數據用過傳輸的手段輸送到每個子系統里面,或者就在平臺上進行評價,把數據進行分類變成單獨的數據串,通過數據的手段來對數據串上的信息進行即使的補充,把每個數據鏈進行相關的對比分析,可以把高職院的年度工作都城貨以及院校的實力給分析出來,把分析出來的問題進行評價,為了院校以后的發展可以打下很好的基礎。1.3在高職院校中公共數據平臺可以起到很好的發展作用。高職院校的行政管理工作需要很多的決策,而準確以及安全的卻側所帶來的的使公共數據安全的有效數據,只有公共安全平臺的數據準確了才可以在做出決策的時候有相關的依據,這種循環是一直存在的。在高職院校當中的行政管理人員處理高職院校的日常事務的時候,不用再和以前一樣慢慢的進行每個系統的信息數據的考察,只要院校建立了公共數據平臺,就可以從中取得院校內的所有信息數據,讓管理人員和做決策的人可以更加的準確以及安全進行相關的工作[3]。公共數據平臺的建立最初是為了進行培養人才、管理課程以及專業建設而創建的平臺,其最主要的目的還是為了將院校的教學質量進行提高,在進行公共數據平臺建設的時候,可以把社會的信息技術的了解,在高職院校的發展當中有著非常重要的地位。1.4高職院校的內部管理在公共數據平臺當中可以進行加強。把公共數據平臺建立可以讓高職院校中的教職人員可以十分方便以及快捷的進行信息資源的獲取,可以把高職院校里面的管理技術提高。高職院校的管理工作使用傳統的方法是需要由上級領導慢慢的傳遞到下層領導當中,這種傳遞的聯系方式會讓院校的日常處理工作十分的慢,在這種管理的過程當中,會導致一些信息的丟失,導致信息的傳達失誤,在公共數據平臺建立起來后,就不一樣了,可以把高職院校里面的管理進行加強,院校內的教職人員只需要在平臺當中進行信息的,把可以把相關的信息進行傳遞,讓層層傳遞的信息出現失誤的概率不在發生,從而把高職院校管理的效率提高起來[4]。

2高職院校內公共數據平臺建設的問題建議

查看全文