數據挖掘論文范文10篇

一、數據挖掘相關概念

數據挖掘技術是近些年發展起來的一門新興學科，它涉及到數據庫和人工智能等多個領域。隨著計算機技術的普及數據庫產生大量數據，能夠從這些大量數據中抽取出有價值信息的技術稱之為數據挖掘技術。數據挖掘方法有統計學方法、關聯規則挖掘、決策樹方法、聚類方法等八種方法，關聯規則是其中最常用的研究方法。關聯規則算法是1993年由R.Atal,Inipusqi,Sqtm三人提出的Apriori算法，是指從海量數據中挖掘出有價值的能夠揭示實體和數據項間某些隱藏的聯系的有關知識，其中描述關聯規則的兩個重要概念分別是Suppor（t支持度）和Confi-dence（可信度）。只有當Support和Confidence兩者都較高的關聯規則才是有效的、需要進一步進行分析和應用的規則。

二、使用Weka進行關聯挖掘

Weka的全名是懷卡托智能分析環境（WaikatoEnviron-mentforKnowledgeAnalysis），是一款免費的、非商業化的、基于JAVA環境下開源的機器學習以及數據挖掘軟件[2]。它包含了許多數據挖掘的算法，是目前最完備的數據挖掘軟件之一。Weka軟件提供了Explorer、Experimenter、Knowledge-Flow、SimpleCLI四種模塊[2]。其中Explorer是用來探索數據環境的，Experimenter是對各種實驗計劃進行數據測試，KnowledgeFlow和Explorer類似，但該模塊通過其特殊的接口可以讓使用者通過拖動的形式去創建實驗方案，Simple-CLI為簡單的命令行界面。以下數據挖掘任務主要用Ex-plorer模塊來進行。

（一）數據預處理

數據挖掘所需要的所有數據可以由系統排序模塊生成并進行下載。這里我們下載近兩年的教師科研信息。為了使論文總分、學術著作總分、科研獲獎總分、科研立項總分、科研總得分更有利于數據挖掘計算，在這里我們將以上得分分別確定分類屬性值。

1Web數據挖掘面臨的問題

目前面向Web的數據挖掘面臨的問題，主要有兩個方面：

1.1數據庫環境的異構型

Web上的每個站點就是一個數據源，數據源之間是異構的，外加上各個站點的信息和組織的不同，Web網站就構成了一個巨大的異構數據庫環境。要對這些數據進行挖掘，首先，要解決各個站點之間的異構數據集成，提供用戶統一界面，從復雜的數據源中取得所需的有用的信息知識。其次，有關Web上的數據查詢。

1.2數據結構的半結構化

Web上的數據比較復雜，各個站點的數據都獨立設計，具有動態可變性。雖然Web上的數據形成半結構化數據。這些問題是進行Web數據挖掘所面臨的最大困難。

1系統結構組成

系統采用C/S+B/S結構,主要由前端數據采集設備(位移及載荷傳感器)、站點客戶端、數據庫及Web服務器等組成。各部分采取分布式協同處理運行方式,站點客戶端利用前端采集的數據獨立分析計算,分析完成后上傳至數據庫服務器,并通過網頁服務器對外。

2系統數據

2.1系統數據結構系統采用MicrosoftSQLServer,創建了WPGUI與WPCHQ數據庫來管理3萬余口油井數據采集、處理及存儲等,建設數據表65張(見主要數據表的關系圖2),主要包括生產井的完井數據、靜態數據、動態數據、采集數據、原油物性數據、機桿管泵等技術數據,同時系統保存了油井近兩年功圖電參數據(每天每口井到少100張),以及根據這些數據分析計算出來的結果和匯總生成的數據。

3數據挖掘應用

數據挖掘是從大量數據集中發現可行信息的過程,是統計分析技術、數據庫技術及人工智能技術的綜合。面對油井工況實時分析及功圖計產系統大量的油井生產完備數據,長慶油田充分利用數據挖掘技術,對數據進一步清理、集成、轉換、挖掘應用,深化功圖系統數據分析,先后開展了動液面計算,系統效率在線實時監測、區塊動態分析研究等,并應用于油田現場,取得了較好的效果,既節約了生產成本,又方便了現場管理應用,進一步提升系統在長慶油田數字化前端的核心地位。

一、專利數據挖掘

數據挖掘技術是延伸和擴展了傳統分析方法,可以發現傳統分析方法不能發現的內容和規律,并且它將人們從單調、枯燥的閱讀專利文獻的工作中解放出來,使用計算機代替了人類勞動,這樣不僅提高了效率,而且提升了準確度。因此,數據挖掘作為一個專利分析的強有力工具被引入到專利分析中來,并且得到快速的發展應用。專利數據挖掘流程應考慮的問題：一是用數據挖掘解決什么樣的問題；二是為進行數據挖掘所做的數據準備；三是數據挖掘的各種分析算法。故專利數據挖掘的一般過程通常按照以下步驟來完成：領會數據挖掘的目的，獲取分析所用的數據集合，探索、清理和預處理數據，選擇要使用的數據挖掘技術，使用算法解決問題，解釋算法的結果。而其一般流程可簡化為三個階段：數據準備→數據挖掘→結果解釋和評價。本文采用簡化的流程進行實證分析。

二、石家莊地區制藥企業專利數據挖掘

本文對石家莊地區制藥企業的專利數據進行挖掘分析，挖掘對象是華北制藥集團公司、石家莊制藥集團有限公司、石家莊神威藥業股份有限公司、石家莊四藥股份、河北以嶺藥業股份有限公司、石家莊市華曙制藥集團、河北醫科大學制藥廠、河北圣雪大成制藥有限責任公司等地址在石家莊且具有一定代表性的藥企，希望通過這些藥企數據能夠找到石家莊地區制藥領域的核心組成，并能為藥企更好地發展提供有力的信息支持。IPC號是目前權威的專利技術主題的標識編碼之一,基本包含了各行各業的專利信息，是一個龐大的專利信息體系。目前國內外很多分析方法及技術大部分是基于專利的IPC分類號來分析專利技術主題的,此分析方法有一定的參考價值和科學性,而且對于具有大量專利信息的分析具有很好的總結概括效果。本文以專利全部IPC號為分析對象,并且構建IPC號之間的關聯規則,在最大程度上揭示隱含的專利技術關聯性，從而為石家莊地區制藥企業專利技術的發展提供參考。

1.數據準備。數據來源的準確與否是數據分析與挖掘的基礎，是數據分析與挖掘的根本。本文所使用的石家莊地區制藥領域專利數據由萬方數據公司提供，以制藥企業地址為石家莊為檢索條件，搜索出了包括從1985—2014年間石家莊地區制藥領域專利644條,分別分布在A、B、C、D、E、F、G、H八個大部。對專利數據庫中的644條專利進行篩選，根據“分類號”字段限制，它涉及專利信息的分類,有些IPC所涉及的范圍與石家莊地區制藥領域沒有聯系或聯系很小,不宜保留。根據“申請人（專利權人）”字段的限制,剔除與石家莊地區制藥不相關或制藥企業地址不在石家莊地區的專利。最后篩選出590條最符合該領域特點的專利。由于IPC號在幾乎所有現存數據庫中均是以一個字段存儲一個專利的所有IPC分類號的，形如:A61K38/26、A61K9/08、A61K47/12、A61P3/10，且每個專利一般都有好幾個分類號，而每個企業又研究大量的專利，所以在進行專利分析之前,需要對專利IPC號進行數據整理。由于過于細致的IPC分類號并不利于專利主題的分析與揭示,所以本文中采用專利小類分析,就是取IPC號的前4位。并將申請人與其對應的多條IPC號進行拆分,拆分后的數據項有773條，即顯示每個申請人對應的一條IPC分類號。

2.數據挖掘。本文數據挖掘過程將采用Excel和SQLsever2005軟件，首先對所得到的數據導入SQLserver2005進行挖掘，利用SQLserver2005可以直接進行IPC號的關聯規則挖掘，然后對專利信息進行分析。

1研究背景

目前現有的針對煙草營銷策略的研究，多采用數據挖掘的思想，基于數據挖掘的營銷策略是對終端客戶進行分類，根據用戶的銷量和誠信記錄把用戶分為多個等級，但這種分級策略只能反應用戶的銷量信息，把這個分類作為營銷策略依據太單薄，只能起一定的輔助作用。更深入地研究是根據客戶的資料和歷史訂單數據對現有商戶進行聚類，獲取到自主的商戶分類，但盲目的聚類會導致商戶的分類沒有實際意義，或獲取的結果是無助于營銷目的的。

2技術關鍵

本系統采用基于營銷目的的商戶聚類，技術關鍵包括三部分內容：數據預處理中的特征選擇、基于限制目標的商戶精確聚類和基于聚類結果的多層關聯規則算法的研究。

2.1特征選擇

假定獲取的數據的維數為n，通常情況下n是很大的一個數，為簡化模型，也為了防止模型陷入過擬合（維數災難），需要進行降維處理，即僅把對項目改造判定起關鍵作用的因素挑選出來。本系統采用PCA算法來進行降維處理，過程如下：

1相關技術

關聯規則最初是針對購物籃分析問題提出的，目的是發現事務數據庫（TransactionDatabase）中不同商品之間的聯系。關聯規則是形如A=》B的蘊涵式，其中A稱為該關聯規則的前項，B稱為該關聯規則的后項。事務，是一個明確定義的商業行為，如顧客在商店購物就是一次典型的事務。由用戶設定的支持度和置信度的門檻值，當sup－port(A=>B)、confidence(A=>B)分別大于等于各自的門檻值時，認為A=>B是有趣的，此兩值稱為最小支持度(minsupport)和最小置信度(minconfidence)。同時滿足minsupport和minconfidence的這種關聯規則就叫做強的關聯規則。設任務相關的數據D是數據庫事物的集合，當項集的支持計數≥D中事務總數|D|與minsup－port的乘積時，就叫做頻繁項集，當項集的支持計數可能≥D中事務總數|D|與minsupport的乘積時，就叫做侯選項集。所有侯選項集K-項集的集合記作Ck，所有頻繁項集K-項集的集合常記作Lk，很明顯Lk奐Ck。如果僅依賴最小支持度和最小置信度這兩個參數的限制，所挖掘出的強關聯規則不一定是用戶感興趣的，因此，用戶可以根據實際應用的需求，再結合自身的領域知識，通過選擇與實際分析任務有關的數據集，設置不同的參數，限定前項和后項的個數，選擇前項和后項包含的屬性等操作，對關聯規則的挖掘進行約束。

2模糊集理論的引入

在討論實際問題的時候，需要判定模糊概念涵義，如判斷某個數據在模糊集的定義和歸屬，這時就需要普通集合與模糊集合可依某種法則相互轉換。模糊理論中的截集是模糊集合和普通集合之間相互轉換的一座橋梁。

3基于事務間數值型關聯規則的數據挖掘算法

假設有一就業數據庫，先通過數據整理，將原始數據記錄值區間［0，10］偏置10個單位。由此就得到了經過偏置后的數據庫記錄。再依滑動窗口方法，設maxspan=1(該值可以依實際情況的需要來定),就可將偏置后的數據庫數據整理轉化為擴展事務數據庫。再把擴展事務數據庫記錄通過隸屬度函數轉化為對應的隸屬度。

[摘要]本文主要介紹了數據挖掘的基本概念，以及數據挖掘的方法。

[關鍵詞]數據挖掘數據挖掘方法

隨著信息技術迅速發展，數據庫的規模不斷擴大，產生了大量的數據。但大量的數據往往無法辨別隱藏在其中的能對決策提供支持的信息，而傳統的查詢、報表工具無法滿足挖掘這些信息的需求。因此，需要一種新的數據分析技術處理大量數據，并從中抽取有價值的潛在知識，數據挖掘（DataMining）技術由此應運而生。

一、數據挖掘的定義

數據挖掘是指從數據集合中自動抽取隱藏在數據中的那些有用信息的非平凡過程，這些信息的表現形式為：規則、概念、規律及模式等。它可幫助決策者分析歷史數據及當前數據，并從中發現隱藏的關系和模式，進而預測未來可能發生的行為。數據挖掘的過程也叫知識發現的過程。

二、數據挖掘的方法

1垃圾短信治理面臨的調整

目前的垃圾短信過濾的方法主要有黑名單和白名單監控技術，但是短信中心對黑白名單處理數量有上限要求；基于關鍵字的過濾技術，但是這種技術不能靈活識別和更新關鍵字；基于內容的過濾技術，可分為基于規則的過濾和基于概率統計的過濾；基于數據挖掘方法的垃圾短信用戶識別，目前基本上都使用IBMSPSSModeler平臺的決策樹和邏輯回歸經典算法識別垃圾短信用戶，由于選取的建模數據不全面以及算法本身各自存在不足使得建模效果受到影響。為建立白名單和科學封堵模型相結合的垃圾短信治理模式，實現精細化、行為級、高效性的垃圾短信治理，本方案提出了基于客戶綜合特征分析的垃圾短信治理技術方案：基于隨機森林分類的垃圾短信用戶預測模型。通過客戶入網屬性，客戶通信行為信息、客戶賬單信息等多個維度構建模型，對垃圾短信號碼進行識別和治理。相比傳統基于短信內容識別、發送量控制的事中控制，本系統能夠進行垃圾短信發送行為預測，配合垃圾短信攔截系統將垃圾短信在未形成大規模發送前攔截。實驗結果證明該模型能夠有效的識別垃圾短信號碼，對監控系統攔截垃圾短信起到很好的輔助作用。

2大數據挖掘的原理與優勢

大數據是指數據量很大（一般是TB到PB數量級）的巨量資料，無法通過主流軟件工具，在合理時間內完成數據處理并獲取有價值的信息。數據大多以非結構化或者半結構化數據為主，大數據具有4V特點：Volume、Velocity、Variety、Veracity。大數據處理的一般思路是數據壓縮、數據抽樣、數據挖掘等。數據挖掘是一種新的信息處理技術，其主要特點是對商業數據庫中的大量業務數據進行抽取、轉換、分析和其它模型化處理，從中提取輔助商業決策的關鍵性數據。利用數據挖掘進行數據分析常用的方法主要有分類、回歸分析、聚類、關聯規則、推薦系統等，它們分別從不同的角度對數據進行挖掘。大數據挖據的數據源和處理方式對比。

3數據挖據流程和模型選取

3.1數據挖掘的主要流程

1數據挖掘技術在針灸研究中的應用

1.1經穴效應特異性規律研究

主要采用關聯規則與頻次分析相結合的數據挖掘方法，關聯規則旨在提示處方中存在的兩個或兩個以上腧穴之間的配伍形式，頻次分析能夠提供針灸治療某一疾病選用的腧穴及其頻繁程度。羅玲等在全面采集古代針灸治療中風文獻基礎上，重點進行了選穴的經絡癥狀關聯分析，發現針刺治療中風半身不遂使用腧穴頻次最多的為曲池、肩等手陽明經穴；肩、曲池、足三里、百會、風池配伍是最常用處方；多選用足少陽經和手足陽明經穴位。針刺治療中風不省人事使用腧穴頻次最多的為督脈百會穴、心包經中沖穴；風池、百會、曲池配伍或大椎、百會、風池配伍是最常用處方；經脈多選用督脈和足少陽、手陽明等陽經穴位。以上表明針灸治療中風遵循了辨證循經取穴的處方規律。何冬鳳等在全面采集現代針灸治療心絞痛臨床文獻基礎上，重點進行了選穴的經絡部位關聯分析。結果發現，心絞痛選穴分布在心包經、膀胱經、任脈、心經最多；選穴主要分布在上肢部、背部、胸部，上肢部用穴中近90％分布于心包經和心經，背部用穴近95％分布于膀胱經，胸部用穴全分布于任脈和心經。以上表明針灸治療心絞痛遵循了辨位循經取穴的處方規律。數據挖掘結果證實了古代、現代取穴規律和特點與針灸臨床理論的一般規律和特點是基本相符的。經絡辨證提示了經穴效應的循經性，特定穴的選用提示了經氣會聚狀態是腧穴發揮效應特異性的關鍵。

1.2腧穴運用規律的研究

1）神經系統疾病：趙凌等收錄了從先秦至清末的偏頭痛針灸專著，采用多層關聯規則挖掘算法，計算腧穴項集的支持度和置信度，發現手足少陽經脈的穴位絲竹空、風池、率谷、頷厭、頭臨泣出現頻次最高，偏頭痛處方配伍中以合谷一風池出現的頻次最高，少陽經的交會穴選用最多。楊潔等發現針灸治療貝爾面癱中，手足陽明經穴選用最多，重視局部穴位，配合遠端選穴，地倉穴為使用頻次最多經穴，交會穴、五輸穴、下合穴等特定穴運用廣泛。吳糧葶等挖掘針灸治療中風后遺癥的現代文獻，表明針灸治療中風后遺癥選穴以循經為基礎，首選陽經腧穴，分布主要在四肢，陽明經與少陽經的配伍關系最為常用，特定穴為選穴的主體，特別重視交會穴及肘膝關節以下的特定穴。李旗等挖掘出針刺治療格林巴利綜合征所選腧穴以足三里、合谷、曲池、陽陵泉、外關、三陰交使用頻率最高，經絡則以手足陽明經最為常用。CongMen等以不同針刺手法刺激小鼠足三里，構筑神經元混沌放電的復雜網絡來刻畫神經元放電時間序列的時變特性。

2）消化系統疾病：任玉蘭等通過多維、多層的關聯規則分析針刺治療功能性消化不良的古文獻，發現足三里、中脘、脾俞、胃俞、內關是治療FD最常用的主要腧穴，足三里與中脘相配是最主要穴位組配方式；取穴以循經為基礎，主要集中在任脈、膀胱經、脾胃經上；所選腧穴以特定穴為主體，遵循局部與遠端取穴相結合原則。張勇等以古文獻中治療鼓脹的經穴為原始數據，運用頻數統計及關聯規則算法，統計出古代治療鼓脹最常用經穴為足三里、水分、氣海等，通過2次priori關聯結果，最終確認組穴1（復溜，中風）和組穴2（復溜，脾俞）在臨床應用中具有強關聯性。鄭華斌等發現在治療腸易激綜合征中，特定穴的使用廣泛，其中以足三里為最，其次為天樞、上巨虛、中脘等，臟腑辨證取穴為針刺治療腸易激綜合征的重要原則，以足陽明胃經的足三里和天樞為主。

摘要：我國移動網絡信息技術發展較快處于世界前沿，但由于其復雜的內容與龐大的數據量，在使用過程中難免發生一定的錯誤與不足。因此，移動通信商對其必須做出調整優化工作，以期帶來更好的服務。數據挖掘技術就是幫助移動通信商調整4G網絡使用的重要技術方法。通過本文的分析，希望對我國網絡供應商給予幫助，使其優化我國的移動通信網絡。

關鍵詞：4G環境；移動通信；網絡優化；數據挖掘

隨著我國的移動信息力量不斷發展，目前社會已進入了4G的通訊時代。4G環境下，移動通信網絡實現了實時的更新與擴大，同時人們對于移動網絡的使用要求也越來越高。如果不及時對移動通信網絡進行更新優化，4G網絡將無法發揮力量，進一步為社會與人們服務。因此，為深化4G網絡的使用，必須對其數據進行深度挖掘與分析，從而找尋更好使其為人們服務的途徑與方法。

1關于數據挖掘技術的問題分析

1.1數據挖掘的概念。數據挖掘技術是目前我國一類新興的互聯網科技技術，其運用基于目前的大數據時代形勢下。數據挖掘的實質是對巨大的信息量，通過后臺的整合處理，找尋具有一定規律的數據并對其深入分析，找尋各組數據之間的聯系，對后續可能潛在產生的數據進行預測。因此，數據挖掘在目前信息量龐大的現代網絡社會而言，具有找尋各組數據的關聯性，發現人們潛在需求的重要作用，是進一步優化4G網絡通訊與使用的重要依據。1.2數據挖掘的分析方法。數據挖掘的方法較多，通常情況下使用以下三類方法進行具體的挖掘工作。首先，分類分析法是最常用的一類數據挖掘方法。該方法需要技術人員對所有的數據進行初步篩選，并依據其特點做好標記的工作。在第一次篩選工作完成后，對其進行先前以標記分類的數據進行二次篩選，根據其特點再一次篩選。重復篩選的工作直至得到符合技術人員需求的規模后，在對其同類型的數據進行定點分析，找尋其規律后根據其特性對4G網絡進行優化工作。其次，通常使用關聯分析法進行數據挖掘的工作。所謂關聯分析法，是指對人們使用4G網絡的情況排查，分析其使用某數據時與其關聯的數據，找尋二者的規律與相似處，并以此為依據對4G網絡的使用進行進一步優化調整。關聯分析法的優勢是更貼合人們的需求，能夠基于人性化的基礎上對4G網絡進行調整。最后，序列分析法也是常用的數據挖掘方法。其原理類似于分類分析法，但其采用的方法是先由技術人員對所有需要分析的數據進行采集編號，然后由計算機對其數據根據序列的不同進行分析工作。相較于分類分析法，盡管其人性化程度較低，但其分析的速度是常用的數據分析法中速度最快的。因此，技術人員同時使用序列分析法對數據進行第一次篩選與分析的工作后，根據情況具體使用分類分析法或關聯分析法進行具體的篩選工作。

24G移動通信網絡的特點分析