數據倉庫中的證券行業論文

導語：數據倉庫中的證券行業論文一文來源于網友上傳，不代表本站觀點，若需要原創文章可咨詢客服老師，歡迎參考。

1建設目標

1.1建設公司級數據倉庫

將數據邏輯模型固化，形成存儲結構合理、層次明確的數據倉庫層級。對各類數據進行統一采集、存儲、清理、轉換、匯總，形成公司統一數據字典以及統一數據口徑。涵蓋結構化數據以及非結構化數據的整合。

1.2構建公司級數據倉庫模型

以金融行業為藍本，兼顧證券行業特點，具有穩定性、可擴展性、靈活性以及前瞻性。數據倉庫模型具有清晰的主題結構，主題域涵蓋證券公司各項業務，能夠支撐運營管理、風險管理、財務管理、客戶管理、咨詢服務等，囊括證券公司現有以及目前可預見的全部業務。

1.3形成統一的數據調度、監控平臺

主要實現EE作業、SE作業、命令行程序、PL/SQL程序等作業的定義、調度管理和運維監控。利用可視化的作業流程集成管理，實例化各種作業組件并通過拖拽方式設計業務處理的各個環節和觸發機制。通過統一的監控平臺，可以監測整個數據倉庫的各程序運行情況、系統CUP和磁盤等資源占用情況以及數據庫表使用情況等。

1.4建立統一的數據管控平臺

實現在數據ETL過程中的元數據管理、數據標準管理和數據質量管理。元數據管理通過對相關的技術、業務元數據進行統一的歸集，實現數據間的血緣分析和影響分析；數據標準管理主要實現數據層面的代碼數據標準化和業務層面的作業標準化；數據質量管理主要涵蓋數據質量檢查定義、數據質量檢查、數據質量檢查分析、數據治理問題管理和數據質量知識管理。

1.5打造規范的數據服務平臺

在數據倉庫模型層統一、規范的數據基礎上，按照業務的特性整理出通用的指標數據，為業務管理系統提供數據服務。

2建設規劃

數據倉庫數據處理的流程主要包括：通過數據采集，將各基礎業務系統數據集中、非結構化數據，同步到貼源數據層；再經過清洗、變換、轉換、標準化，依據企業的統一標準和規則對來自企業內外分散在不同系統的數據進行消除非一致性的集成和標準化的處理，數據按照一定的主題域進行組織存儲在核心層；通用指標匯總層按照業務數據的通用性匯總形成各種通用數據指標；業務指標層則根據各業務部門的不同需求對通用指標再加工，形成業務指標層；第三方應用集市根據應用要求，對數據進行預處理，并最終為應用層提供數據服務。源數據層：源數據層是數據倉庫的數據來源，包含各種交易類和管理類的業務數據以及大量的非結構化數據。數據存儲層：包括緩沖層、貼源數據層、規范存儲層、匯總層和第三方應用集市層。緩沖層：即源數據中間層，用于存放部分基礎業務系統的數據文件并可作為基礎數據源對外提供數據直傳服務；貼源數據層：用于存放從源數據中間層經過基本清洗轉換后的數據，貼源數據層的數據模型與業務系統基本保持一致；核心層：從貼源數據層經過清洗、轉換和整合后可靠的、一致的、規范的數據，按金融數據模型對貼源數據層的數據進行標準化的統一，解決信息孤島通用指標層：按照業務的特性整理出通用的指標數據；業務指標層：按照各業務條線對指標的特殊要求，形成業務指標層直接供業務部門使用；第三方應用集市層：數據集市層是以具體應用為主題，所存儲的數據都是根據具體應用進行運行和匯總的各類指標數據。數據調度平臺：包括數據采集、清洗、轉換以及數據轉換的調度管理。數據服務平臺：為業務管理系統提供數據服務，包括數據直傳、數據推送、API接口、WebService接口等。數據管控平臺：包括數據質量與標準、元數據管理、數據脫敏管理。通過統一的管控平臺，可以監測整個數據倉庫的各程序運行情況、系統cpu和磁盤等資源占用情況、數據庫表使用情況等；可以了解數據源采集、數據入庫、數據轉換、關鍵后續任務運行等數據處理狀態；并可以通過信號燈、聲音、郵件或短信等形式報告系統的運行情況和數據的處理狀態；為數據倉庫的運行維護保駕護航。應用層：包括中間服務層和訪問控制層。中間服務層主要是生成數據集、各種報表和數據分析，并提供各種查詢和分析功能；門戶作為訪問控制層實現統一的用戶管理、權限管理和安全認證訪問體系。展現層：根據對數據倉庫的需求，來進行報表界面的開發。一般可分為普通用戶、技術用戶和高級用戶三類，普通用戶主要訪問一些靜態的報表，技術用戶主要是通過展現工具生成一些動態報表，滿足業務的急迫需要。高級用戶是關注決策有關的一些關鍵指標和報表。

3結論

本文針對目前數據在證券公司的業務可持續發展中起到越來越重要的地位的戰略思想，通過分析數據倉庫的建設規劃來闡述如何更好的幫助證券公司建設統一的數據倉庫平臺。為未來各種新興業務的開展、客戶的挖掘、企業決策等提供了一套思路，從而達到公司的良好健康的可持續發展。

作者：鄭建勇單位：同濟大學軟件學院勝科金仕達數據系統中國有限公司