序論：好文章的創(chuàng)作是一個不斷探索和完善的過程，我們?yōu)槟扑]十篇數(shù)據(jù)分析分析技術(shù)范例，希望它們能助您一臂之力，提升您的閱讀品質(zhì)，帶來更深刻的閱讀感受。

篇（1）

云計算技術(shù)可以給提供計算機數(shù)據(jù)傳遞與共享的條件，融合軟硬件數(shù)據(jù)保存，促進計算機處理工作更好的開展。云計算技術(shù)可以給用戶提供良好的網(wǎng)絡(luò)環(huán)境與保存空間，處理數(shù)據(jù)傳遞環(huán)節(jié)的各項問題。與傳統(tǒng)大數(shù)據(jù)分析技術(shù)相比，云計算計算可以提高大數(shù)據(jù)分析質(zhì)量。人們借助云計算技術(shù)獲得云終端的數(shù)據(jù)，切實滿足人們對于數(shù)據(jù)的需求。現(xiàn)階段計算機市場形成完善的結(jié)構(gòu)體系，圍繞云計算技術(shù)推動計算機大數(shù)據(jù)分析工作的開展，奠定后期云計算技術(shù)發(fā)展的基礎(chǔ)。目前，人們生活中全面運用云計算技術(shù)，基于云計算技術(shù)研發(fā)的服務(wù)器及操作系統(tǒng)方便人們處理各類信息技術(shù)。同時，云計算技術(shù)數(shù)據(jù)保存有著較強的安全性，極小可能出現(xiàn)數(shù)據(jù)丟失情況，滿足人們的實際需求，直接體現(xiàn)出云計算技術(shù)的優(yōu)勢。優(yōu)化云計算環(huán)境下計算機的數(shù)據(jù)處理中心，就可以不斷提升計算機的云計算能力，讓云計算不僅為網(wǎng)絡(luò)信息所用，還在計算機網(wǎng)絡(luò)安全中發(fā)揮極為重要的作用。目前，計算機的使用人群更為注重的是在高速發(fā)達的信息社會，自己的信息，也就是使用計算機網(wǎng)絡(luò)的安全性能是否能得到保障，這時候考驗的就是云計系統(tǒng)的完善性。目前存在的最主要計算機安全問題就是黑客問題和系統(tǒng)漏洞問題。系統(tǒng)漏洞這一人為因素可以通過不斷檢索進行漏洞的發(fā)現(xiàn)和修補，面對黑客的攻擊，能夠做的就是防患于未然，不斷地升級和優(yōu)化系統(tǒng)，最終達到完善的數(shù)據(jù)處理效果。

2云計算技術(shù)下計算機大數(shù)據(jù)分析面臨的問題

2.1網(wǎng)絡(luò)技術(shù)安全

由于相關(guān)技術(shù)的不斷發(fā)展，云計算環(huán)境下的網(wǎng)絡(luò)安全技術(shù)正在朝著穩(wěn)定和成熟的方向發(fā)展，但在具體的應(yīng)用過程中依然表現(xiàn)出一定的網(wǎng)絡(luò)安全問題，因此用戶在使用過程中應(yīng)該做好相關(guān)的應(yīng)對工作。網(wǎng)絡(luò)安全問題具體表現(xiàn)在用戶在使用信息傳輸?shù)倪^程中，一旦出現(xiàn)服務(wù)性中斷問題，難以保證數(shù)據(jù)的安全性，啟動被動保護模式的情況使信息的安全性更加難以保障，這也成為云計算模式下的網(wǎng)絡(luò)技術(shù)安全中的重點問題，一旦得不到及時有效的解決，用戶在使用過程中就會受到不同程度的威脅。

2.2網(wǎng)絡(luò)環(huán)境安全

網(wǎng)絡(luò)環(huán)境安全是保證網(wǎng)絡(luò)正常使用，信息傳輸質(zhì)量有保證的重要前提，一旦網(wǎng)絡(luò)環(huán)境存在不安全因素，將會引發(fā)病毒的入侵和黑客的攻擊。因此網(wǎng)絡(luò)環(huán)境安全也是云計算技術(shù)價值得以發(fā)揮的重要前提。計算機在使用過程中如果長期受到病毒的困擾和黑客的威脅，將會降低人們對計算機的信賴性，甚至在工作和生活中將會在網(wǎng)絡(luò)環(huán)境安全方面投入更多的成本。

3計算機大數(shù)據(jù)分析中云計算技術(shù)的具體應(yīng)用

3.1數(shù)據(jù)傳輸安全分析

在云計算的作用下，云安全含義逐漸形成，具體來說，云安全主要指在用戶借助云計算技術(shù)來實現(xiàn)計算機大數(shù)據(jù)分析時，讓數(shù)據(jù)安全性得到了保證。用戶端數(shù)據(jù)和數(shù)據(jù)安全往往呈現(xiàn)出正比關(guān)系，隨著應(yīng)用群體數(shù)量的增多，涉及的計算機數(shù)據(jù)范疇將不斷擴充，假設(shè)計算機遭受病毒的攻擊，可以在云計算技術(shù)的作用下實現(xiàn)病毒的攔截，以此讓計算機數(shù)據(jù)安全性得到保證。從云計算技術(shù)自身角度來說，其提供的各個服務(wù)均是由IaaS基礎(chǔ)設(shè)施級服務(wù)以及PaaS平臺級服務(wù)兩項內(nèi)容構(gòu)建而成。首先，IaaS基礎(chǔ)設(shè)施級服務(wù)其作用在于，可以給用戶提供對應(yīng)的服務(wù)，也就是對各個計算機基礎(chǔ)設(shè)備進行操作和應(yīng)用，其中包含了CPU處理、數(shù)據(jù)保存、數(shù)據(jù)傳遞等。其次，PaaS平臺級服務(wù)則是指，把云計算中各個服務(wù)器及開發(fā)環(huán)境當(dāng)作服務(wù)，通過PaaS平臺用戶能夠結(jié)合自身需求實現(xiàn)對應(yīng)操作流程的部署和應(yīng)用。

3.2監(jiān)督數(shù)據(jù)資源共享

網(wǎng)絡(luò)資源在傳輸過程中遭遇到的安全威脅是用戶時時刻刻關(guān)注的問題，因此在具體的工作和管理中，需要提高云計算網(wǎng)絡(luò)安全技術(shù)的應(yīng)用程度，通過不斷創(chuàng)新安全模式，完善相應(yīng)的防護體系，從而有效消除安全性問題，提升數(shù)據(jù)傳輸?shù)陌踩院头€(wěn)定性。具體在應(yīng)用過程中，可以借助云計算技術(shù)的優(yōu)勢，對數(shù)據(jù)傳輸?shù)恼麄€路徑進行監(jiān)控，保證傳輸通道環(huán)境的安全性，一旦出現(xiàn)問題及時進行預(yù)警，有效預(yù)防黑客的攻擊，降低網(wǎng)絡(luò)安全事故發(fā)生的概率。對此，有關(guān)部門應(yīng)該提高重視程度，同時完善相應(yīng)的監(jiān)督管理制度，采用科學(xué)的管理方式，實現(xiàn)預(yù)期的監(jiān)測目標(biāo)。

3.3提高數(shù)據(jù)使用安全

計算機用戶本身的安全意識也是當(dāng)前需要關(guān)注的重要方面，為了進一步提升用戶數(shù)據(jù)信息和計算機系統(tǒng)的安全系數(shù)，需要重視身份認證工作的提升，具體可以使用實名制的方式進行認證處理，從而不斷提升整個網(wǎng)絡(luò)結(jié)構(gòu)的安全性。對于網(wǎng)絡(luò)應(yīng)用過程中涉及到的安全問題，可以通過實名追蹤的方式進行可疑目標(biāo)鎖定，從而有效控制惡意攻擊情況的發(fā)生。但在應(yīng)用過程中也需要重視假人名情況的出現(xiàn)，提高網(wǎng)絡(luò)數(shù)據(jù)信息竊取的預(yù)防水平。計算機網(wǎng)絡(luò)環(huán)境算是一種相對開放的環(huán)境，在使用過程中會面向大量的用戶，通過重視用戶的身份認證，可以有效避免用戶對數(shù)據(jù)的非法訪問。同時在使用者進行計算機登錄和使用的時候，需要對用戶名和密碼進行核實。按照權(quán)限的不同，確保數(shù)據(jù)庫信息的安全有效性。通過對數(shù)據(jù)庫信息加密處理，可以確保數(shù)據(jù)庫信息的安全性。這種加密處理可以在原有數(shù)據(jù)信息的基礎(chǔ)上進行算法的處理改進，使用者可以通過自身的權(quán)限獲取想要了解的信息，如果沒有解密方式，不法分子將會難以獲取數(shù)據(jù)的原始信息。

3.4網(wǎng)絡(luò)安全等級防護

在云計算環(huán)境下的安全管理中心具備系統(tǒng)管理、安全管理和安全審計等功能，能夠滿足不同云計算環(huán)境下不同安全等級的保護要求，并且通過服務(wù)層的安全保護框架，實現(xiàn)對不同等級云服務(wù)客戶端的安全保護，為使用者提供安全可靠的資源訪問服務(wù)。在訪問云服務(wù)商時，用戶可通過通信網(wǎng)絡(luò)、API接口和Web服務(wù)方式訪問云服務(wù)器，但是用戶終端系統(tǒng)的安全防護不在網(wǎng)絡(luò)安全等級保護框架體系內(nèi)。在保護框架體系內(nèi)，資源層和服務(wù)層安全是云計算環(huán)境安全保護的重點，資源層包括物理資源安全和虛擬資源安全，應(yīng)按照安全設(shè)計要求構(gòu)建資源層安全保護框架。云計算環(huán)境下的網(wǎng)絡(luò)安全等級保護要針對不同等級云計算平臺確定不同的安全目標(biāo)，一般情況下安全保護等級最低為二級，并根據(jù)安全目標(biāo)和等級要求實施安全設(shè)計步驟，具體包括：第一步，根據(jù)云平臺的租戶數(shù)量和業(yè)務(wù)系統(tǒng)情況確定云計算安全保護標(biāo)準(zhǔn)，制定云計算平臺的安全保護策略，以避免在云計算平臺上發(fā)生安全事件；第二步，細化安全技術(shù)要求，針對安全計算環(huán)境、安全區(qū)域邊界、安全通信網(wǎng)絡(luò)以及安全管理中心制定出相應(yīng)的安全保護策略；第三步，根據(jù)云計算功能框架中的各層功能和保護要求，制定安全技術(shù)機制，使其滿足云計算功能框架的安全保護要求。在完成云計算環(huán)境下的網(wǎng)絡(luò)安全等級保護設(shè)計之后，還應(yīng)增加虛擬化安全、鏡像安全、接口安全等安全控制點，并采用訪問控制技術(shù)、身份識別技術(shù)等安全防護技術(shù)，實現(xiàn)與云計算平臺上各功能層次的對接，提出各層的安全保護措施。

3.5重視相應(yīng)程序開發(fā)

篇（2）

中圖分類號：F503 文獻標(biāo)識碼：A 文章編號：1674-098X（2014）04（a）-0021-01

對于數(shù)據(jù)分析來說，其主要的目的就是通過對數(shù)據(jù)的分析去發(fā)現(xiàn)問題或預(yù)測趨勢。從數(shù)據(jù)鉆取、大規(guī)模分析的技術(shù)手段、以及算法執(zhí)行上來說，大規(guī)模分析是和小規(guī)模數(shù)據(jù)在技術(shù)上是有很大差異的。想要探究大數(shù)據(jù)下的智能數(shù)據(jù)分析技術(shù)，首先要對數(shù)據(jù)分析這一概念進行深入研究。

1 數(shù)據(jù)分析

數(shù)據(jù)分析的過程其實簡單的說就是做報告，做什么樣的報告反映什么樣的指標(biāo)。最開始的時候基本上是data processing。例如零售行業(yè)來說，最主要的指標(biāo)就是庫存、銷售同比增長情況、利潤同比增長情況、促銷率等等。對于不同的行業(yè)會有不同的相關(guān)的KPI需要跟蹤，所以報告的內(nèi)容也會有所側(cè)重，但是只要你一個行業(yè)做久了，熟悉了套路之后，基本上就是以同樣的方法開展。

對于數(shù)據(jù)分析，如果公司部門分的比較細的（例如可能有建模組），那么做數(shù)據(jù)分析可能永遠都是做data processing了。對于模型的分析，需要你對業(yè)務(wù)有了深入的了解就可以建立一些模型出來（例如推薦模型）等等。

數(shù)據(jù)分析主要涉及的技能：

（1）數(shù)據(jù)庫的能力。越全面越好，如果不是理工科的，最起碼要會select那些簡單的查詢語句。

（2）EXCEL、PPT的能力。報告的呈現(xiàn)一般都是Excel+PPT的形式，最好VBA，這樣就可以將很多人工的工作轉(zhuǎn)化為自動化的能力，提高工作效率，領(lǐng)導(dǎo)也對你刮目相看，自己也有更多空余的時間準(zhǔn)備其他方面的知識。

（3）市場分析能力。學(xué)會觀察市場的走向和關(guān)注的內(nèi)容，例如零售行業(yè)，現(xiàn)在大家都對CRM很熱衷，那相關(guān)的分析方法和方式是怎么樣的，你要自己去了解。從來不會有人手把手的將所有東西都告訴你，你必須自己學(xué)會去增長知識。

（4）一些會計的知識。因為通過以上分析，就是會計管理的一部分內(nèi)容，最后還是公司盈利問題。有興趣的也可以去看看戰(zhàn)略管理方面的，對于做數(shù)據(jù)分析也很有好處的說。

綜合來看，可以說數(shù)據(jù)分析=技術(shù)+市場+戰(zhàn)略。

2 如何培養(yǎng)數(shù)據(jù)分析能力

理論：

基礎(chǔ)的數(shù)據(jù)分析知識，至少知道如何做趨勢分析、比較分析和細分，不然拿到一份數(shù)據(jù)就無從下手；

（2）基礎(chǔ)的統(tǒng)計學(xué)知識，至少基礎(chǔ)的統(tǒng)計量要認識，知道這些統(tǒng)計量的定義和適用條件，統(tǒng)計學(xué)方法可以讓分析過程更加嚴謹，結(jié)論更有說服力；

（3）對數(shù)據(jù)的興趣，以及其它的知識多多益善，讓分析過程有趣起來。

實踐：

（1）明確分析的目的。如果分析前沒有明確分析的最終目標(biāo)，很容易被數(shù)據(jù)繞進去，最終自己都不知道自己得出的結(jié)論到底是用來干嘛的；

（2）多結(jié)合業(yè)務(wù)去看數(shù)據(jù)。數(shù)據(jù)從業(yè)務(wù)運營中來，分析當(dāng)然要回歸到業(yè)務(wù)中去，多熟悉了解業(yè)務(wù)可以使數(shù)據(jù)看起來更加透徹；

（3）了解數(shù)據(jù)的定義和獲取。最好從數(shù)據(jù)最初是怎么獲取的開始了解，當(dāng)然指標(biāo)的統(tǒng)計邏輯和規(guī)則是必須熟記于心的，不然很容易就被數(shù)據(jù)給坑了；

（4）最后就是不斷地看數(shù)據(jù)、分析數(shù)據(jù)，這是個必經(jīng)的過程，往往一個工作經(jīng)驗豐富的非數(shù)據(jù)分析的運營人員要比剛進來不久的數(shù)據(jù)分析師對數(shù)據(jù)的了解要深入得多，就是這個原因。

3 大數(shù)據(jù)

大數(shù)據(jù)就是通過統(tǒng)計分析計算機收集的數(shù)據(jù)，在人們可能不知道“為什么”的前提下，了解到事物的狀態(tài)、趨勢、結(jié)果等“是什么”。

對于大數(shù)據(jù)，一直來說，數(shù)據(jù)規(guī)模導(dǎo)致的存儲、運算等技術(shù)問題從來不是最重要的瓶頸。瓶頸只在于前端數(shù)據(jù)的收集途徑，以及后端商業(yè)思想引領(lǐng)的模型和算法問題。早期的各類OLAP工具已經(jīng)足夠了，后來類似海杜普這樣的研究則徹底降低了分布式數(shù)據(jù)的架構(gòu)成本和門檻，就徹底將大數(shù)據(jù)帶入了一個普及的領(lǐng)域。

從技術(shù)層面說，大數(shù)據(jù)和以前的數(shù)據(jù)時代的最大差異在于，以前是數(shù)據(jù)找應(yīng)用/算法的過程（例如各大銀行的大集中項目，以及數(shù)據(jù)建倉），而大數(shù)據(jù)時代的重要技術(shù)特征之一，是應(yīng)用/算法去找數(shù)據(jù)的過程，因為數(shù)據(jù)規(guī)模變成了技術(shù)上最大的挑戰(zhàn)。

大數(shù)據(jù)的特點：

（1）大數(shù)據(jù)不等同于數(shù)據(jù)大，我們處理問題是根據(jù)這個問題的所有數(shù)據(jù)而非樣本數(shù)據(jù)，即樣本就是總體；不是精確性而是混雜性；不是因果關(guān)系而是相關(guān)關(guān)系。

（2）大數(shù)據(jù)應(yīng)用的幾個可能：當(dāng)文字變成數(shù)據(jù)，此時人可以用之閱讀，機器可以用之分析；當(dāng)方位變成數(shù)據(jù)，商業(yè)廣告，疫情傳染監(jiān)控，雅安地震時的谷歌尋人；當(dāng)溝通變成數(shù)據(jù)，就成了社交圖譜。一切都可以量化，將世界看作可以理解的數(shù)據(jù)的海洋，為我們提供了一個從來未有過的審視現(xiàn)實的視角。

（3）數(shù)據(jù)創(chuàng)新的價值：數(shù)據(jù)的再利用。例如重組數(shù)據(jù)：隨著大數(shù)據(jù)出現(xiàn)，數(shù)據(jù)的總和比部分更有價值，重組總和和本身價值也比單個總和更大；可擴展數(shù)據(jù)：在設(shè)計數(shù)據(jù)收集時就設(shè)計好了它的可擴展性，可以增加數(shù)據(jù)的潛在價值；數(shù)據(jù)的折舊值：數(shù)據(jù)會無用，需淘汰更新；數(shù)據(jù)廢氣：比如語音識別，當(dāng)用戶指出語音識別程序誤解了他的意思，實際上就有效的訓(xùn)練了這個系統(tǒng)。

總之，大數(shù)據(jù)是因為對它的分析使用，才產(chǎn)生和體現(xiàn)它的價值，而不是因為其用到了突出的技術(shù)和算法才體現(xiàn)了它的價值。

4 大數(shù)據(jù)下的智能數(shù)據(jù)分析

在大數(shù)據(jù)的背景下，必須考慮數(shù)據(jù)之間的關(guān)聯(lián)性。一個單獨的數(shù)據(jù)是沒有意義的，實際中，選擇處在兩個極端的數(shù)據(jù)往往更容易找出它們之間的聯(lián)系，把它們放在一個框架中看才能發(fā)現(xiàn)問題。因此，可以用以下四種方法在大數(shù)據(jù)背景下進行智能數(shù)據(jù)分析：

（1）從解決問題的角度出發(fā)收集數(shù)據(jù)；

（2）把收集的數(shù)據(jù)整理好，放入一個框架內(nèi)，并利用這個框架幫助決策者做出決定；

（3）評估決定與行動的效果，這將告訴我們框架是否合理；

（4）如果有新的數(shù)據(jù)出現(xiàn)，我們將考察能否利用它對前面三步做出改進，以及我們今天是否還需要收集更多種類的數(shù)據(jù)。

5 結(jié)語

數(shù)據(jù)分析的最終目的是幫助業(yè)務(wù)發(fā)現(xiàn)問題并解決問題，提升公司價值，而這些是從數(shù)據(jù)發(fā)覺的，而不是盲目下結(jié)論。每家公司都有自己業(yè)務(wù)生產(chǎn)的數(shù)據(jù)，通過數(shù)據(jù)分析、同比環(huán)比、漏斗分析及模型等，發(fā)現(xiàn)業(yè)務(wù)上存在的問題，幫助公司業(yè)務(wù)的優(yōu)化。

參考文獻

篇（3）

1.1信息安全分析引入大數(shù)據(jù)的必要性

大數(shù)據(jù)具有“4V”的特點：Volume、Variety、Velocity和Value，可實現(xiàn)大容量、低成本、高效率的信息安全分析能力，能夠滿足安全數(shù)據(jù)的處理和分析要求，將大數(shù)據(jù)應(yīng)用于信息安全領(lǐng)域能夠有效的識別各種攻擊行為或安全事件，具有重大的研究意義和實用價值。隨著企業(yè)規(guī)模的增大和安全設(shè)備的增加，信息安全分析的數(shù)據(jù)量呈指數(shù)級增長。數(shù)據(jù)源豐富、數(shù)據(jù)種類多、數(shù)據(jù)分析維度廣；同時，數(shù)據(jù)生成的速度更快，對信息安全分析應(yīng)答能力要求也相應(yīng)增長。傳統(tǒng)信息安全分析主要基于流量和日志兩大類數(shù)據(jù)，并與資產(chǎn)、業(yè)務(wù)行為、外部情報等進行關(guān)聯(lián)分析?；诹髁康陌踩治鰬?yīng)用主要包括惡意代碼檢測、僵木蠕檢測、異常流量、Web安全分析等；基于日志的安全分析應(yīng)用主要包括安全審計、主機入侵檢測等。將大數(shù)據(jù)分析技術(shù)引入到信息安全分析中，就是將分散的安全數(shù)據(jù)整合起來，通過高效的采集、存儲、檢索和分析，利用多階段、多層面的關(guān)聯(lián)分析以及異常行為分類預(yù)測模型，有效的發(fā)現(xiàn)APT攻擊、數(shù)據(jù)泄露、DDoS攻擊、騷擾詐騙、垃圾信息等，提升安全防御的主動性。而且，大數(shù)據(jù)分析涉及的數(shù)據(jù)更加全面，主要包括應(yīng)用場景自身產(chǎn)生的數(shù)據(jù)、通過某種活動或內(nèi)容“創(chuàng)建”出來的數(shù)據(jù)、相關(guān)背景數(shù)據(jù)及上下文關(guān)聯(lián)數(shù)據(jù)等。如何高效合理的處理和分析這些數(shù)據(jù)是安全大數(shù)據(jù)技術(shù)應(yīng)當(dāng)研究的問題。

1.2安全大數(shù)據(jù)分析方法

安全大數(shù)據(jù)分析的核心思想是基于網(wǎng)絡(luò)異常行為分析，通過對海量數(shù)據(jù)處理及學(xué)習(xí)建模，從海量數(shù)據(jù)中找出異常行為和相關(guān)特征；針對不同安全場景設(shè)計針對性的關(guān)聯(lián)分析方法，發(fā)揮大數(shù)據(jù)存儲和分析的優(yōu)勢，從豐富的數(shù)據(jù)源中進行深度挖掘，進而挖掘出安全問題。安全大數(shù)據(jù)分析主要包括安全數(shù)據(jù)采集、存儲、檢索和安全數(shù)據(jù)的智能分析。（1）安全數(shù)據(jù)采集、存儲和檢索：基于大數(shù)據(jù)采集、存儲、檢索等技術(shù)，可以從根本上提升安全數(shù)據(jù)分析的效率。采集多種類型的數(shù)據(jù)，如業(yè)務(wù)數(shù)據(jù)、流量數(shù)據(jù)、安全設(shè)備日志數(shù)據(jù)及輿情數(shù)據(jù)等。針對不同的數(shù)據(jù)采用特定的采集方式，提升采集效率。針對日志信息可采用Chukwa、Flume、Scribe等工具；針對流量數(shù)據(jù)可采用流量景象方法，并使用Storm和Spark技術(shù)對數(shù)據(jù)進行存儲和分析；針對格式固定的業(yè)務(wù)數(shù)據(jù)，可使用HBase、GBase等列式存儲機制，通過MapReduce和Hive等分析方法，可以實時的對數(shù)據(jù)進行檢索，大大提升數(shù)據(jù)處理效率。（2）安全數(shù)據(jù)的智能分析：并行存儲和NoSQL數(shù)據(jù)庫提升了數(shù)據(jù)分析和查詢的效率，從海量數(shù)據(jù)中精確地挖掘安全問題還需要智能化的分析工具，主要包括ETL（如預(yù)處理）、統(tǒng)計建模工具（如回歸分析、時間序列預(yù)測、多元統(tǒng)計分析理論）、機器學(xué)習(xí)工具（如貝葉斯網(wǎng)絡(luò)、邏輯回歸、決策樹、隨機森利）、社交網(wǎng)絡(luò)工具（如關(guān)聯(lián)分析、隱馬爾可夫模型、條件隨機場）等。常用的大數(shù)據(jù)分析思路有先驗分析方法、分類預(yù)測分析方法、概率圖模型、關(guān)聯(lián)分析方法等?？墒褂肕ahout和MLlib等分析工具對數(shù)據(jù)進行挖掘分析。綜上，一個完備的安全大數(shù)據(jù)分析平臺應(yīng)自下而上分為數(shù)據(jù)采集層、大數(shù)據(jù)存儲層、數(shù)據(jù)挖掘分析層、可視化展示層。主要通過數(shù)據(jù)流、日志、業(yè)務(wù)數(shù)據(jù)、情報信息等多源異構(gòu)數(shù)據(jù)進行分布式融合分析，針對不同場景搭建分析模型，最終實現(xiàn)信息安全的可管可控，展現(xiàn)整體安全態(tài)勢。

2安全大數(shù)據(jù)分析的典型應(yīng)用

2.1基于用戶行為的不良信息治理

中國移動開展了基于大數(shù)據(jù)的不良信息治理工作，主要針對垃圾短信和騷擾詐騙電話開展基于異常行為的大數(shù)據(jù)分析。通過開源工具Hadoop、HDFS、Pig、Hive、Mahout、MLlib搭建大數(shù)據(jù)分析平臺，采集用戶的行為數(shù)據(jù)，構(gòu)建用戶行為分析模型；分別提出了異常行為分類預(yù)測模型、統(tǒng)計預(yù)測分析模型、社交網(wǎng)絡(luò)分析模型等，將用戶的行為數(shù)據(jù)輸入到模型中，可以精準(zhǔn)地挖掘出違規(guī)電話號碼，并且發(fā)現(xiàn)違規(guī)號碼與正常號碼之間存在大量相異的行為特征。通過用戶的行為，構(gòu)建多維度的用戶畫像數(shù)據(jù)庫，支撐全方位的大數(shù)據(jù)不良信息治理服務(wù)，支撐大數(shù)據(jù)不良內(nèi)容的智能識別等。實踐表明，大數(shù)據(jù)分析技術(shù)能夠挖掘出更多潛在的違規(guī)號碼，是對現(xiàn)有系統(tǒng)的有效補充。除此之外，中國移動還將大數(shù)據(jù)技術(shù)應(yīng)用在安全態(tài)勢感知、手機惡意軟件檢測和釣魚網(wǎng)站的分析中，提升了現(xiàn)有系統(tǒng)的分析能力。

2.2基于網(wǎng)絡(luò)流量的大數(shù)據(jù)分析

在互聯(lián)網(wǎng)出口進行旁路流量監(jiān)控，使用Hadoop存儲及Storm、Spark流分析技術(shù)，通過大數(shù)據(jù)分析技術(shù)梳理業(yè)務(wù)數(shù)據(jù)，深度分析所面臨的安全風(fēng)險。主要分析思路是采集Netflow原始數(shù)據(jù)、路由器配置數(shù)據(jù)、僵木蠕檢測事件、惡意URL事件等信息，采用多維度分析、行為模式分析、指紋分析、孤立點分析及協(xié)議還原等方法，進行Web漏洞挖掘、CC攻擊檢測、可疑掃描、異常Bot行為、APT攻擊、DDoS攻擊挖掘等分析。

2.3基于安全日志的大數(shù)據(jù)分析

基于安全日志的大數(shù)據(jù)分析思路主要是融合多種安全日志，進行數(shù)據(jù)融合關(guān)聯(lián)分析，構(gòu)建異常行為模型，來挖掘違規(guī)安全事件。主要的安全日志包含Web日志、IDS設(shè)備日志、Web攻擊日志、IDC日志、主機服務(wù)器日志、數(shù)據(jù)庫日志、網(wǎng)管日志、DNS日志及防火墻日志等，通過規(guī)則關(guān)聯(lián)分析、攻擊行為挖掘、情景關(guān)聯(lián)分析、歷史溯源等方法，來分析Web攻擊行為、Sql注入、敏感信息泄露、數(shù)據(jù)分組下載傳輸、跨站漏洞、嘗試口令破解攻擊等應(yīng)用場景?；诎踩罩镜拇髷?shù)據(jù)分析已經(jīng)在國際上有廣泛的應(yīng)用。如IBMQRadar應(yīng)用整合分散在網(wǎng)絡(luò)各處的數(shù)千個設(shè)備端點和應(yīng)用中的日志源事件數(shù)據(jù)，并將原始安全數(shù)據(jù)進行標(biāo)準(zhǔn)化，以區(qū)別威脅和錯誤判斷；IBMQRadar還可以與IBMThreatIntelligence一起使用，提供潛在惡意IP地址列表，包括惡意主機、垃圾郵件和其它威脅等；IBMQradar還可以將系統(tǒng)漏洞與事件和網(wǎng)絡(luò)數(shù)據(jù)相關(guān)聯(lián)，劃分安全性事件的優(yōu)先級等。ZettaSet海量事件數(shù)據(jù)倉庫來分析網(wǎng)絡(luò)中的安全漏洞和惡意攻擊；Zettaset主要包括Orchestrator和SDW(SecurityDataWarehouse，安全數(shù)據(jù)倉庫）。Orchestrator是端到端的Hadoop管理產(chǎn)品，支持多個Hadoop分布；SDW是構(gòu)建在Hadoop的基礎(chǔ)上，并且基于Hive分布式存儲。SDW于2011年BlackHat網(wǎng)絡(luò)安全會議面世，SDW可從網(wǎng)絡(luò)防火墻、安全設(shè)備、網(wǎng)站流量、業(yè)務(wù)流程以及其它事務(wù)中挖掘安全信息，確定并阻止安全性威脅。處理的數(shù)據(jù)質(zhì)量和分析的事件數(shù)量比傳統(tǒng)SIEM多；對于一個月的數(shù)據(jù)負載，傳統(tǒng)SIEM搜索需要20～60min，Hive運行查詢只需1min左右。

2.4基于DNS的安全大數(shù)據(jù)分析

基于DNS的安全大數(shù)據(jù)分析通過對DNS系統(tǒng)的實時流量、日志進行大數(shù)據(jù)分析，對DNS流量的靜態(tài)及動態(tài)特征進行建模，提取DNS報文特征：DNS分組長、DNS響應(yīng)時間、發(fā)送頻率、域名歸屬地離散度、解析IP離散度、遞歸路徑、域名生存周期等；基于DNS報文特征，構(gòu)建異常行為模型，來檢測針對DNS系統(tǒng)的各類流量攻擊（如DNS劫持、DNS拒絕服務(wù)攻擊、DNS分組異常、DNS放大攻擊等）及惡意域名、釣魚網(wǎng)站域名等。

2.5APT攻擊大數(shù)據(jù)分析

高級可持續(xù)性威脅（APT）攻擊通過周密的策劃與實施，針對特定對象進行長期的、有計劃的攻擊，具有高度隱蔽性、潛伏期長、攻擊路徑和渠道不確定等特征?，F(xiàn)已成為信息安全保障領(lǐng)域的巨大威脅?！罢鹁W(wǎng)”潛伏3年，造成伊朗納坦茲核電站上千臺鈾濃縮離心機故障。收集業(yè)務(wù)系統(tǒng)流量、Web訪問日志、數(shù)據(jù)日志、資產(chǎn)庫及Web滲透知識庫等，提取系統(tǒng)指紋、攻擊種類、攻擊時間、黑客關(guān)注度、攻擊手段類型、行為歷史等事件特征，再基于大數(shù)據(jù)機器學(xué)習(xí)方法，發(fā)現(xiàn)Web滲透行為、追溯攻擊源、分析系統(tǒng)脆弱性，加強事中環(huán)節(jié)的威脅感知能力，同時支撐調(diào)查取證。

篇（4）

中圖分類號：TP392 文獻標(biāo)識碼：A 文章編號：1671－7597（2012）0220084－02

0 引言

聯(lián)機分析處理（OLAP）技術(shù)是近幾年來信息領(lǐng)域中的技術(shù)熱點，人們普遍認為它將是數(shù)據(jù)倉庫在數(shù)據(jù)庫技術(shù)方面的的重要發(fā)展方向。因為傳統(tǒng)數(shù)據(jù)庫的應(yīng)用系統(tǒng)是面向事務(wù)設(shè)計的，在尋找業(yè)務(wù)的具體數(shù)據(jù)上特別有效，但在為領(lǐng)導(dǎo)決策者提供總結(jié)性數(shù)據(jù)結(jié)果時則顯得力所不及，這就凸顯出了聯(lián)機分析處理（OLAP）技術(shù)重要性，OLAP是一項提供給數(shù)據(jù)分析人員以靈活、可用并及時的方式構(gòu)造、處理和表示綜合數(shù)據(jù)的技術(shù)[1-2]。

1 聯(lián)機分析處理（OLAP）

1.1 基本概念

聯(lián)機分析處理（OLAP）技術(shù)與數(shù)據(jù)倉庫有著非常緊密的聯(lián)系，它是數(shù)據(jù)倉庫的檢驗型分析工具。它將分析決策者所需要的大量數(shù)據(jù)從傳統(tǒng)的環(huán)境中解離出來，清理、轉(zhuǎn)換成統(tǒng)一的信息，幫助決策者進行有效及時的分析、判斷和預(yù)測，獲得更大的效率[3]。

OLAP建立在多維的視圖基礎(chǔ)之上，強調(diào)執(zhí)行效率和對用戶命令的及時響應(yīng)的能力，并且其數(shù)據(jù)來源是數(shù)據(jù)倉庫。它是一種軟件技術(shù)，使得分析人員及管理人員通過對信息的多側(cè)面、多角度、多層次的觀察，支持其決策。

1.2 技術(shù)特點

1）快速性，以相當(dāng)快的速度向用戶提交信息。可在5秒內(nèi)向用戶提交。2）可分析性，OLAP能處理和應(yīng)用任何統(tǒng)計分析和邏輯分析。用戶不用過多編程就可以定制新的專門計算，它將其作為分析中的一部分，并以理想的方式輸出報告。3）共享性，在大量用戶之間實現(xiàn)潛在地共享秘密數(shù)據(jù)所必需的安全性豁求。4）多維性，系統(tǒng)對數(shù)據(jù)提供分析和多維視圖，包括對層次維和多重層次維的支持。事實上，多維分析是分析企業(yè)數(shù)據(jù)最行之有效的方式方法，是OLAP的核心。5）信息性，無論數(shù)據(jù)量多大，數(shù)據(jù)存儲在哪里，OLAP均能及時獲取信息，并大容量管理信息。

1.3 OLAP的多維數(shù)據(jù)結(jié)構(gòu)

多維數(shù)據(jù)結(jié)構(gòu)是數(shù)據(jù)倉庫存儲結(jié)構(gòu)的一種類型。它是為提高數(shù)據(jù)庫查詢能力設(shè)計的，內(nèi)部包含等待分析的數(shù)據(jù)，且使用數(shù)據(jù)維分類數(shù)據(jù)。此結(jié)構(gòu)更可稱為立方體數(shù)據(jù)結(jié)構(gòu)。多維結(jié)構(gòu)里的數(shù)據(jù)資源既可以按雪花型結(jié)構(gòu)分布，也可以按星型結(jié)構(gòu)排列。

1）維。維是指人們對事務(wù)觀察的角度。人們在觀察數(shù)據(jù)的同時，對某些特定角度還可以在細節(jié)上有不同程度的多個描述層次，這些層次稱為維的層次。維的一個取值稱為該維的一個維成員。若維已經(jīng)被分成若干層次，則其成員為不同維層次值的組合。

一個立方體數(shù)據(jù)結(jié)構(gòu)是由很多數(shù)據(jù)維組成，一維即為某一類的數(shù)據(jù)。維定義為相同類數(shù)據(jù)的集合。數(shù)據(jù)維內(nèi)的數(shù)據(jù)限制在某一問題領(lǐng)域之中。在Microsoft OLAP Service中立方體數(shù)據(jù)結(jié)構(gòu)可包含1-64個數(shù)據(jù)維。在立方體結(jié)構(gòu)里至少包含一個數(shù)據(jù)維，在一個數(shù)據(jù)維里則又至少包含一個層次，且一個層次至少要包含一個級別。而每個級別里，又可以包括多個成員。在事實表關(guān)鍵字與數(shù)據(jù)維成員交叉的地方，每個成員都至少有某一個數(shù)據(jù)值出現(xiàn)在這個位置上。

一切同質(zhì)的度量值和其關(guān)聯(lián)的維成員都構(gòu)成一個多維數(shù)據(jù)集。在多維數(shù)據(jù)集中，它能支持各種類型的查詢，為OLAP的核心組成部分。多維數(shù)據(jù)集還可以用多維數(shù)據(jù)庫來實現(xiàn)，更可用關(guān)系數(shù)據(jù)庫來實現(xiàn)。

父子維度是基于兩個維度的表列，這兩列共同定義了維成員中的沿襲關(guān)系。其中一列稱為成員鍵列，它標(biāo)識每個成員；而另一列則稱為父鍵列，其標(biāo)識每個成員的父代。父代為層次結(jié)構(gòu)中的上層節(jié)點。此兩列都有相同的數(shù)據(jù)類型，且都在同一個表內(nèi)，故可用于創(chuàng)建父子鏈表。父子維度的深度隨它的層次結(jié)構(gòu)分支變化，故父子維度的層次結(jié)構(gòu)常常為不均衡的。

虛擬維度與常規(guī)維度在給出定義時的級別數(shù)目就已經(jīng)決定了最終用戶所觀察到的級別數(shù)目；但父子維度不同，它是應(yīng)用特殊類型單個級別來定義的，該特殊類型常常也會產(chǎn)生最終用戶所看到的多個級別。其中存儲成員鍵和父鍵列的內(nèi)容將會決定顯現(xiàn)出的級別數(shù)目。故當(dāng)更新該維度表，并進一步處理和使用此維度的多維數(shù)據(jù)集時，其級別數(shù)目還可能會更改。

2）度量。事實表的成員值被稱為“度量”，為進行數(shù)值分析時所需要尋找的數(shù)量信息。度量為具有可加性和數(shù)值性的。度量值為觀察事物的焦點，故一般具有加和性。在多維數(shù)據(jù)集中，度量值存在于多維數(shù)據(jù)集的事實數(shù)據(jù)表中。最終用戶所請求的信息類型稱為選擇其的決定因素。

在數(shù)據(jù)庫的數(shù)據(jù)維表里直接獲得的成員被稱為輸入成員；在包含其他成員的表達式里獲得的成員被稱為導(dǎo)出成員。導(dǎo)出成員是在運行中計算得到的，且當(dāng)只有那些計算成員的表達式存儲在多維數(shù)據(jù)庫里時，一個導(dǎo)出成員才可作為數(shù)據(jù)維成員，更可作為度量成員。在系統(tǒng)中根據(jù)用戶的需求設(shè)計導(dǎo)出成員，能有效的提高系統(tǒng)分析能力，拓展完善系統(tǒng)的其他功能。

3）虛擬維度。虛擬維度是基于物理維度的邏輯維度。此類內(nèi)容可以是物理維度中的現(xiàn)有成員的屬性，更可為物理維度表中的列。應(yīng)用虛擬維度，可基于多維數(shù)據(jù)集中的維度成員的成員屬性來對多維數(shù)據(jù)集數(shù)據(jù)進行分析比較，并且不需占用額外的磁盤空間或處理時間。虛擬維度更沒有聚合數(shù)據(jù)，更不能影響多維數(shù)據(jù)集的處理時間，這是由于它們的計算是需要時在內(nèi)存中進行的。

虛擬數(shù)據(jù)維不需存儲在計算機的硬件設(shè)備上。虛擬維在立方體中是可以提供更加多的維分析，故虛擬維的設(shè)計可能要減少立方體存儲空間，但更會增加查詢時間。虛擬維的設(shè)計能使用戶靈活地使用實際維的多重屬性來減少維的多重顯示。

多個立方體結(jié)構(gòu)組合在一起形成了一個虛擬立方體結(jié)構(gòu)來供用戶查詢信息。在數(shù)據(jù)倉庫中應(yīng)用虛擬立方體結(jié)構(gòu)，還可允許用戶在多個結(jié)構(gòu)中交叉訪問信息，且用戶不用建立數(shù)據(jù)倉庫就可把此類立方體結(jié)構(gòu)存儲在該數(shù)據(jù)倉庫里。其實應(yīng)用虛擬立方體數(shù)據(jù)結(jié)構(gòu)不僅可以為用戶提供信息，還可節(jié)省磁盤空間。此外，虛擬立方體數(shù)據(jù)結(jié)構(gòu)更能用來提供一定級別的保密能力。

2 OLAP的功能結(jié)構(gòu)及其基本分析操作

2.1 功能結(jié)構(gòu)

OLAP的功能結(jié)構(gòu)主要是由數(shù)據(jù)存儲服務(wù)、OLAP應(yīng)用服務(wù)以及用戶描述服務(wù)等三方面組成的三層客戶或者說三層服務(wù)器結(jié)構(gòu)（如圖1所示），我們說應(yīng)用邏輯并不簡單，它所處的位置是被集中存放在應(yīng)用服務(wù)器上的，主要工作原理是由服務(wù)器給予迅速地數(shù)據(jù)存儲，之后進行后臺處理以及報表的預(yù)處理。為什么說它的它的工作效率高其主要原因是：首先，OLAP服務(wù)器的使用足以規(guī)范和能夠加強決策支持方面的服務(wù)工作；其次，能夠集中和簡化原

有客戶端以及DW服務(wù)器的某些工作；最后，充分降低了系統(tǒng)數(shù)據(jù)傳輸量。因此，我們說OLAP服務(wù)器的工作效率更高。如何將數(shù)據(jù)倉庫中的綜合數(shù)據(jù)組合在一起以及滿足前端用戶的多維分析是OLAP服務(wù)器設(shè)計的重點。

圖1 OLAP的三層客戶/服務(wù)器結(jié)構(gòu)圖

2.2 基本分析操作

OLAP的基本操作過程包括對多維數(shù)據(jù)進行的切片、切塊、旋轉(zhuǎn)、鉆取等四部分分析操作過程。這些分析操作過程促使用戶可以從不同的角度和不同的側(cè)面觀測數(shù)據(jù)庫中產(chǎn)生的數(shù)據(jù)，進而對包含在數(shù)據(jù)中的信息有了更加深入地了解。

1）切片。我們在其中的某一個維上確定一個屬性成員，但在其他的維上選取一定區(qū)間的屬性成員或者所有的屬性成員來觀測數(shù)據(jù)的分析方式這一操作過程我們稱之為切片操作。2）切塊。在各種維上參與一定區(qū)間的成員屬性或者所有成員屬性都來參與進行觀測數(shù)據(jù)的一種分析方式，我們說是切塊操作。為此，切片與切塊的關(guān)系我們可以這樣理解：切片――它是切塊的特例，切塊――它是切片的擴展。3）鉆取。鉆取包括向下鉆和向上鉆上卷兩個不同操作。下鉆指的是以概括性的數(shù)據(jù)為出發(fā)點進而獲取相對應(yīng)的比較詳細的數(shù)據(jù)結(jié)果，上鉆則恰恰相反。鉆取的深度是與維度所劃分出來的的層次相對應(yīng)的。4）旋轉(zhuǎn)。旋轉(zhuǎn)就是指能夠改變一個報告或者頁面凸顯的維方向。旋轉(zhuǎn)有可能會含有交換的行和列，它不是把其中的某一個行維轉(zhuǎn)移到列中去，就是把頁面凸顯中的其中一個維和頁面之外的維進行互換。

3 OLAP的新發(fā)展――OLAM

OLAM的簡稱是“聯(lián)機分析挖掘”，它是將OLAP （聯(lián)機分析處理技術(shù)）和DM（數(shù)據(jù)挖掘技術(shù)）有機地組合起來進而形成的一種嶄新的技術(shù)。OLAM不僅具有OLAP多維分析的在線性、靈活性還有DM對數(shù)據(jù)處理的深入性等特點，因此對信息的分析和篩選要求有了更高層次上的滿足。我們說，OLAM具有以下幾種特性：

OLAM具有強大的挖掘力量。它能偶借助OLAP的支持挖掘出任何需要的數(shù)據(jù)；OLAM不僅能給予靈活的挖掘算法選擇機制而且能夠給予與外部挖掘算法的通用接口；OLAM的挖掘計算是以多維數(shù)據(jù)模型為基礎(chǔ)的，它能夠和OLAP的操作靈活結(jié)合，并具有計算的回溯功能。

本著客戶/服務(wù)器體系結(jié)構(gòu)的根本，它不僅具有較高的執(zhí)行效率而且還有較快的響應(yīng)速度，并且可以調(diào)整執(zhí)行效率和挖掘結(jié)果的準(zhǔn)確度。一旦用戶交互式執(zhí)行效率低，而用戶都已經(jīng)選定了挖掘算法和數(shù)據(jù)空間，那么應(yīng)當(dāng)確保最終結(jié)果的準(zhǔn)確性。

4 結(jié)束語

數(shù)據(jù)倉庫的關(guān)健技術(shù)OLAP，是以多維數(shù)據(jù)為基礎(chǔ)，與用戶進行交互和快速響應(yīng)，用戶積極參與分析過程，動態(tài)地提出分析要求、選擇分析算法，對數(shù)據(jù)進行由淺及深的驗證型分析工具。

參考文獻：

[1]楊光等，OLAP技術(shù)及其發(fā)展[J].計算機應(yīng)用研究，1999.7.

篇（5）

1數(shù)據(jù)源準(zhǔn)備

數(shù)據(jù)源是數(shù)據(jù)分析技術(shù)應(yīng)用的重要前提，數(shù)據(jù)來源關(guān)系到各種業(yè)務(wù)分析所需要的數(shù)據(jù)是否齊全、原始數(shù)據(jù)質(zhì)量是否可靠、數(shù)據(jù)提供的性能方面是否滿足相關(guān)要求等。對于不同的行業(yè)領(lǐng)域，數(shù)據(jù)來源的渠道各不相同，對于數(shù)據(jù)分析應(yīng)用而言，也需要在眾多的數(shù)據(jù)中選取合適的部分進行后續(xù)加工和處理。對于大多數(shù)信息化技術(shù)應(yīng)用比較廣泛的企業(yè)而言，主要的業(yè)務(wù)運營數(shù)據(jù)源都可以從自身的信息管理系統(tǒng)中取得，如業(yè)務(wù)支撐系統(tǒng)、企業(yè)資源規(guī)劃和管理系統(tǒng)以及流水線作業(yè)信息管理系統(tǒng)等。有部分數(shù)據(jù)信息是從非常專業(yè)的系統(tǒng)中直接采集到的，如專業(yè)調(diào)度系統(tǒng)、電話交換機以及生產(chǎn)線控制系統(tǒng)等。從這些系統(tǒng)中，可以取得企業(yè)運營過程中的基礎(chǔ)信息和關(guān)鍵數(shù)據(jù)，這些數(shù)據(jù)通常是最能真實客觀地反映企業(yè)運行情況。此外，數(shù)據(jù)獲取的成本也比較低，穩(wěn)定性和質(zhì)量比較好，并且易于管理和重構(gòu)。然而，就經(jīng)營分析的角度而言，從企業(yè)內(nèi)部提供的數(shù)據(jù)還不能滿足全方位分析的需要，需要從企業(yè)外部獲取必要的信息。比如為了深入了解客戶的信息，就需要進行相應(yīng)的市場調(diào)研工作，設(shè)計一些調(diào)查問卷，搜集與業(yè)務(wù)開展和經(jīng)營相關(guān)的重要信息。另外，在某些特定的場合下，還有可能還需要從其它一些外部渠道去集中獲得一些有關(guān)客戶和市場的數(shù)據(jù)信息，目前有不少機構(gòu)專門從事市場信息數(shù)據(jù)提供的服務(wù)工作。從企業(yè)外部獲得的業(yè)務(wù)數(shù)據(jù)往往是針對性較強，有較高利用價值的信息。但這些信息的真實性、穩(wěn)定性程度就比內(nèi)部的數(shù)據(jù)源要低，并且數(shù)據(jù)獲得的成本相對比較高。

2數(shù)據(jù)倉庫技術(shù)的應(yīng)用

目前，數(shù)據(jù)倉庫技術(shù)對于大多數(shù)經(jīng)營業(yè)務(wù)數(shù)據(jù)分析任務(wù)而言，是必備的基礎(chǔ)條件之一，尤其是對于規(guī)模較大、業(yè)務(wù)開展較廣泛的企業(yè)。由于日常運營涉及到的數(shù)據(jù)來源和種類較多、數(shù)據(jù)量較大，在進行數(shù)據(jù)分析處理時需要對原始的信息進行大量的加工處理工作，因此數(shù)據(jù)倉庫技術(shù)的應(yīng)用就是必然的選擇。應(yīng)用數(shù)據(jù)倉庫技術(shù)的主要目的是將原始的數(shù)據(jù)源按相應(yīng)的要求進行轉(zhuǎn)換并按專門設(shè)計的數(shù)據(jù)結(jié)構(gòu)進行存儲。數(shù)據(jù)倉庫技術(shù)對原始數(shù)據(jù)加工處理流程目前一般稱為ETL，即抽取(Extract)、轉(zhuǎn)換(Transform)和加載(Loading)。抽取過程是指從各類原始的數(shù)據(jù)源獲取數(shù)據(jù)的過程，綜合考慮信息系統(tǒng)的處理性能和數(shù)據(jù)時效性以及分析應(yīng)用需求等因素，數(shù)據(jù)抽取過程可以是實時的，也可以是非實時的。對于抽取出的數(shù)據(jù)需要進行一定的轉(zhuǎn)換處理，才能夠進行后續(xù)的應(yīng)用，轉(zhuǎn)換過程主要是根據(jù)后期應(yīng)用需求將原始的數(shù)據(jù)進行過濾、異常處理后再進行格式變換、維度調(diào)整以及初步分類匯總等處理。數(shù)據(jù)加載過程就是將處理后的數(shù)據(jù)裝載到倉庫模型中，并根據(jù)應(yīng)用需求進行數(shù)據(jù)關(guān)聯(lián)關(guān)系的調(diào)整以及性能優(yōu)化。在一些專題分析應(yīng)用場合，還可以將已經(jīng)加載至數(shù)據(jù)倉庫中的數(shù)據(jù)進行進一步的歸納處理，形成相關(guān)主題的數(shù)據(jù)集市，以提高數(shù)據(jù)的可用程度。

數(shù)據(jù)分析方案的設(shè)計和實施

數(shù)據(jù)倉庫建設(shè)完成之后，為了實現(xiàn)業(yè)務(wù)分析的目標(biāo)，就可以考慮實施一些數(shù)據(jù)分析方案，選擇合適的分析方法和工具建立相應(yīng)的模型，對數(shù)據(jù)進行處理，最終得到能夠支持業(yè)務(wù)經(jīng)營分析的關(guān)鍵信息，這一步對于整個業(yè)務(wù)數(shù)據(jù)分析工作而言是一個關(guān)鍵點。數(shù)據(jù)分析建模工作不僅需要掌握相關(guān)分析方法技術(shù)，更需要對業(yè)務(wù)背景和業(yè)務(wù)分析目標(biāo)有充分的認識。因為數(shù)據(jù)分析挖掘建模方法沒有嚴格的定律可以遵循，往往需要在實踐中運用一些基本的方法去探索影響業(yè)務(wù)目標(biāo)的關(guān)鍵因素，并且需要長期跟蹤業(yè)務(wù)發(fā)展情況，不斷地完善模型、調(diào)整相關(guān)參數(shù)，才能夠得到能正確輔助經(jīng)營決策制定的方案。此外，隨著業(yè)務(wù)運營模式的調(diào)整和市場環(huán)境的變化，業(yè)務(wù)分析模型還可能隨時需要重構(gòu)并且反復(fù)驗證。目前用于數(shù)據(jù)挖掘分析的方法有很多，從基本的數(shù)理統(tǒng)計方法到目前研究比較廣泛的神經(jīng)網(wǎng)絡(luò)、遺傳算法等。但是并不是越復(fù)雜的算法效果越好。在很多場合下，應(yīng)用較為簡便的方法得出的結(jié)論更易于描述業(yè)務(wù)信息，便于理解以及實踐操作?，F(xiàn)在市場上用于進行數(shù)據(jù)挖掘和統(tǒng)計分析產(chǎn)品也比較豐富，比較典型的分析工具如SPSS、SAS、STAT等，在一些行業(yè)應(yīng)用領(lǐng)域，還有更加專業(yè)的數(shù)據(jù)分析工具和軟件包可供使用。在實際運用過程中，可以根據(jù)數(shù)據(jù)分析的需求和應(yīng)用范圍進行選擇。

互動點播業(yè)務(wù)的業(yè)務(wù)分析需求

以及數(shù)據(jù)分析方案設(shè)計目前，有線電視運營商在互動點播業(yè)務(wù)開展過程中關(guān)注最多的經(jīng)營目標(biāo)是如何提高用戶對服務(wù)的認可程度、擴大用戶規(guī)模、避免用戶流失以及提升用戶的業(yè)務(wù)貢獻價值等方面。在這個過程中同時也需要對點播內(nèi)容的使用情況進行分析，判斷哪些產(chǎn)品的點播頻率比較高，以便進行內(nèi)容安排方面的調(diào)整。為了支撐互動點播業(yè)務(wù)經(jīng)營分析的目標(biāo)，首先需要初步選擇可能對點播業(yè)務(wù)使用頻率影響比較大的一些關(guān)鍵性因素，并且判斷哪些信息是有手段可以收集到的，以及從哪些渠道收集等等。這個過程通常需要對基礎(chǔ)業(yè)務(wù)有一定的認識，此外還需要對信息數(shù)據(jù)的分布和管理有相應(yīng)的了解。通常情況下，對于大多數(shù)有線電視運營商而言，目前都在建設(shè)和使用業(yè)務(wù)支撐系統(tǒng)?；訕I(yè)務(wù)分析所需要的基礎(chǔ)信息大多數(shù)都可以從業(yè)務(wù)支撐系統(tǒng)中獲取，例如從客戶關(guān)系管理平臺中可以收集到用戶的基本信息，如客戶名稱、聯(lián)系方式、業(yè)務(wù)使用的地址等。另外，客戶開通的業(yè)務(wù)信息以及訂購的各種產(chǎn)品信息、業(yè)務(wù)變更記錄信息以及終端信息等基本上都可以從業(yè)務(wù)支撐系統(tǒng)中獲取到。經(jīng)過一些信息轉(zhuǎn)換和匯總，我們就可以了解到用戶業(yè)務(wù)的在網(wǎng)時間、消費情況、訂購記錄、離網(wǎng)情況等。從這些基本信息里面可以選擇一些業(yè)務(wù)上感興趣的因素進行統(tǒng)計分析，以歸納總結(jié)出經(jīng)營分析相關(guān)的業(yè)務(wù)特征。對于互動點播業(yè)務(wù)相關(guān)的另外一些信息，如客戶的點播行為記錄，一般就不是直接從業(yè)務(wù)支撐平臺上進行采集到。這些數(shù)據(jù)的來源通常是在互動業(yè)務(wù)管理平臺中，用戶在終端上進行點播操作后，互動業(yè)務(wù)管理平臺會記錄下與用戶點播操作相關(guān)的信息。從這些記錄中，我們可以了解到用戶的點播時間、點播內(nèi)容、收看時間等等。根據(jù)點播的內(nèi)容，可以在互動業(yè)務(wù)內(nèi)容管理平臺上關(guān)聯(lián)到其價格、類型、上線時間等信息。綜合上述信息后，就可以整理出互動點播業(yè)務(wù)的使用記錄，通過統(tǒng)計分析可以發(fā)現(xiàn)用戶點播的時間、內(nèi)容偏好和使用量發(fā)展趨勢等數(shù)據(jù)，這些數(shù)據(jù)可以幫助判斷系統(tǒng)的容量以及內(nèi)容的受歡迎程度等信息。最后，為了綜合評估互動業(yè)務(wù)的發(fā)展情況，發(fā)現(xiàn)與業(yè)務(wù)分析目標(biāo)關(guān)聯(lián)較大的一些因素，可以綜合用戶的業(yè)務(wù)記錄信息和點播使用情況進行模型構(gòu)造，并且對結(jié)果進行驗證和評估，以得到對決策分析有價值的信息。

互動點播業(yè)務(wù)的數(shù)據(jù)分析方案的實施應(yīng)用

根據(jù)業(yè)務(wù)數(shù)據(jù)分析基本方案設(shè)計的思路，可以著手開始實施相應(yīng)的分析方案。在本文中主要介紹兩類數(shù)據(jù)分析應(yīng)用案例，一個是基于基礎(chǔ)點播行為數(shù)據(jù)進行的統(tǒng)計分析應(yīng)用，另外一個是根據(jù)用戶點播行為數(shù)據(jù)以及基礎(chǔ)業(yè)務(wù)數(shù)據(jù)綜合分析影響用戶的互動業(yè)務(wù)在線情況的因素。

1用戶點播行為數(shù)據(jù)分析案例

為了了解點播業(yè)務(wù)的使用情況，可以根據(jù)用戶的點播行為記錄進行數(shù)據(jù)挖掘分析，以實現(xiàn)總結(jié)互動點播內(nèi)容、時段和使用量趨勢等業(yè)務(wù)特征的分析目標(biāo)。根據(jù)方案設(shè)計的結(jié)論，從互動業(yè)務(wù)管理平臺中可以取得這類業(yè)務(wù)分析所需要的全部源數(shù)據(jù)。但是，互動業(yè)務(wù)管理平臺中的點播記錄通常全部是以文本記錄的方式保存的，并且由于點播記錄的數(shù)量較大，一般按照記錄數(shù)量或者時間間隔進行了拆分。為了利用這些信息就有必要進行相應(yīng)的數(shù)據(jù)抽取轉(zhuǎn)換工作。在實際應(yīng)用中可以使用預(yù)先設(shè)計的腳本定時從互動業(yè)務(wù)管理平臺中進行數(shù)據(jù)的抽取，然后經(jīng)過簡單的類型變換后加載至數(shù)據(jù)倉庫中。為了達到分析目標(biāo)，主要抽取的信息有產(chǎn)生用戶點播記錄的用戶ID、點播內(nèi)容的代碼及分類信息、點播的開始和結(jié)束時間等等。原始的點播記錄信息轉(zhuǎn)換后，就可以進行下一步的主題分析準(zhǔn)備了，例如可以按照點播的時段、點播的內(nèi)容，以及用戶區(qū)域等信息進行不同維度的數(shù)據(jù)分析。圖2是對互動點播類業(yè)務(wù)按每日播頻率進行的一個分類統(tǒng)計后用SAS統(tǒng)計工具生成的圖形，在生成統(tǒng)計數(shù)據(jù)前需要從原始數(shù)據(jù)中分離出點播時段信息，并行分類匯總。從圖2中可以發(fā)現(xiàn)，點播頻率在一天之中的大致分布規(guī)律。從點播總量上看，每天點播頻率最高的時段是在18:00至22:30左右，峰值在21:00到22:00左右出現(xiàn)，此外在中午12:00左右也有一個高峰時期。點播頻率最低的時段大約在3:00至5:00左右。根據(jù)每天點播業(yè)務(wù)頻率的分布情況，可以進行相應(yīng)的網(wǎng)絡(luò)容量分析，比如通過業(yè)務(wù)高峰數(shù)值可以評估出互動點播平臺的并發(fā)容量是否足夠。另外，根據(jù)每日點播頻率的分布特征，可以安排相應(yīng)的業(yè)務(wù)運營工作部署。例如在業(yè)務(wù)高峰時段可以集中投放一些廣告、通知信息，而一些系統(tǒng)割接和調(diào)試工作盡量應(yīng)安排在使用頻率較低的時段內(nèi)進行。如果需要了解一些特殊的節(jié)假日的點播頻率分布特征，可以在原始數(shù)據(jù)中進行重新過濾篩選，生成類似的頻率分布圖并與圖2進行比對，然后分析其特點。從互動業(yè)務(wù)點播數(shù)據(jù)還可以按內(nèi)容代碼維度進行分析，以統(tǒng)計出與互動視頻節(jié)目內(nèi)容相關(guān)的數(shù)據(jù)，也可以將不同維度的數(shù)據(jù)進行組合分析，進一步挖掘出業(yè)務(wù)方面感興趣的信息。

2影響互動業(yè)務(wù)用戶在線狀態(tài)因素的綜合分析案例

篇（6）

所謂大數(shù)據(jù)，一方面是指在一定時間內(nèi)無法被常規(guī)信息技術(shù)和傳統(tǒng)數(shù)據(jù)庫管理軟硬件工具感知、獲取和處理的巨量數(shù)據(jù)集合；另一方面，是指形成、管理、挖掘大數(shù)據(jù)， 快速搜集、處理、分析大數(shù)據(jù)的技術(shù)和能力。

大數(shù)據(jù)的主要特點是海量、非結(jié)構(gòu)化和半結(jié)構(gòu)化、實時處理。大數(shù)據(jù)技術(shù)，或大數(shù)據(jù)分析技術(shù)，就是對這些數(shù)量巨大的海量數(shù)據(jù)進行搜索、整理、分析、加工，以便獲得有價值的產(chǎn)品和服務(wù)，以及提煉出具有深刻見解和潛在價值信息的技術(shù)和手段。

1 大數(shù)據(jù)分析在公共交通中的應(yīng)用

交通擁堵日益嚴重，交通事故頻繁發(fā)生，這些都是各大城市亟待解決的問題，科學(xué)分析交通管理體系成為改善城市交通的關(guān)鍵所在。因此，高效、準(zhǔn)確地獲取交通數(shù)據(jù)是構(gòu)建合理城市交通管理體系的前提，而這一難題可以通過大數(shù)據(jù)管理得到解決。

大數(shù)據(jù)分析技術(shù)改變了傳統(tǒng)公共交通的路徑：大數(shù)據(jù)可以跨越行政區(qū)域的限制；大數(shù)據(jù)可以高效地整合交通信息；大數(shù)據(jù)可以較好地配置公共交通資源；大數(shù)據(jù)可以促進公共交通均衡性發(fā)展。在大數(shù)據(jù)中，隨著數(shù)據(jù)庫攝入更多數(shù)據(jù)，所消耗的計算工作量反而遞減，配置成本也隨之減小，但所做的計算則更加精準(zhǔn)。大數(shù)據(jù)在公共交通中的應(yīng)用表現(xiàn)在：一旦某個路段發(fā)生問題，能立刻從大數(shù)據(jù)中調(diào)出有用信息，確保交通的連貫性和持續(xù)性；另一方面，大數(shù)據(jù)具有較高預(yù)測能力，可降低誤報和漏報的概率， 可隨時針對公共交通的動態(tài)性給予實時監(jiān)控。因此，在駕駛者無法預(yù)知交通擁堵的可能性時，大數(shù)據(jù)可幫助用戶預(yù)先了解。

2 大數(shù)據(jù)分析在醫(yī)藥領(lǐng)域中的應(yīng)用

在醫(yī)學(xué)領(lǐng)域，我們正處在一醫(yī)學(xué)信息爆炸的時代?；蛐蛄?、各種醫(yī)學(xué)圖像、電子病歷記錄和多中心臨床藥物試驗等，使生物醫(yī)學(xué)領(lǐng)域跨入網(wǎng)絡(luò)化的大數(shù)據(jù)時代。如何從醫(yī)療大數(shù)據(jù)中提取出有用的信息是目前亟待解決的問題，構(gòu)建醫(yī)療大數(shù)據(jù)系統(tǒng)需要將各家醫(yī)院通過互聯(lián)網(wǎng)連接，實現(xiàn)各家醫(yī)院之間的數(shù)據(jù)共享。將醫(yī)療數(shù)據(jù)存于專門的數(shù)據(jù)庫中，在信息協(xié)作平臺上將各種醫(yī)療信息分類整合，建立成一個相互共享的網(wǎng)絡(luò)，從而實現(xiàn)醫(yī)療數(shù)據(jù)信息的共享。

大數(shù)據(jù)技術(shù)的核心就是預(yù)測，使用大數(shù)據(jù)分析技術(shù)可以提高診斷疾病的準(zhǔn)確率，對有效地治療疾病具有重要價值。其中最好地體現(xiàn)在傳染病預(yù)測上，因為傳染病的發(fā)生、發(fā)展、分布與地理地貌、生態(tài)景觀、人文環(huán)境有密切關(guān)系，特別在全球氣候變化和經(jīng)濟全球化背景下，自然環(huán)境及人類社會活動對傳染病的影響越來越重要。因此，時間和空間信息對傳染病的預(yù)測、預(yù)警具有重要意義。利用大數(shù)據(jù)可對傳染病疫情的時間、空間信息進行多維搜索，檢索、處理和分析這些疫情信息可實現(xiàn)對傳染病的流行趨勢及影響范圍進行預(yù)測、預(yù)警，對提高傳染病防控的針對性、預(yù)見性和主動性，抑制流行病的蔓延，以及制定衛(wèi)生決策都具有十分重要的意義。

3 大數(shù)據(jù)分析在移動通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用

當(dāng)前的大數(shù)據(jù)技術(shù)面臨著數(shù)據(jù)過大和安全隱患越多這兩個問題。在移動通信網(wǎng)絡(luò)發(fā)展的過程中，網(wǎng)上用戶在不斷增加，通信網(wǎng)絡(luò)的范圍在不斷擴大， 而移動通信網(wǎng)絡(luò)所產(chǎn)生的數(shù)據(jù)量也在不斷上升。大數(shù)據(jù)技術(shù)和移動通信網(wǎng)絡(luò)的安全問題密切相關(guān)，一旦技術(shù)出現(xiàn)漏洞，移動通信網(wǎng)絡(luò)的數(shù)據(jù)就會出現(xiàn)安全隱患。大數(shù)據(jù)技術(shù)中存儲功能的是云儲存技術(shù)，它將大量的網(wǎng)絡(luò)數(shù)據(jù)放在統(tǒng)一的平臺之上，加大了數(shù)據(jù)丟失的風(fēng)險，影響移動通信網(wǎng)絡(luò)的安全。

優(yōu)化移動通信網(wǎng)絡(luò)，需要運用大數(shù)據(jù)技術(shù)的儲存功能。移動通信網(wǎng)絡(luò)的用戶在不斷變化，每天都要更新大量的數(shù)據(jù)，而且這些數(shù)據(jù)都需要進行妥善管理和保存。在這一過程中，可以應(yīng)用大數(shù)據(jù)技術(shù)的存儲功能， 將存儲虛擬化作為解決存儲問題的有效策略。

優(yōu)化移動通信網(wǎng)絡(luò)，需要獲取相關(guān)的數(shù)據(jù)信息。移動通信網(wǎng)絡(luò)的用戶非常多，而且其所跨越的時間、空間維度都很大，這些用戶在移動通信網(wǎng)絡(luò)留下的海量的數(shù)據(jù)信息，使數(shù)據(jù)獲取工作難以繼續(xù)。在進行數(shù)據(jù)的獲取和收集工作時，移動通信網(wǎng)絡(luò)可以應(yīng)用大數(shù)據(jù)技術(shù)，減少人力和物力的投入，同時增加數(shù)據(jù)的準(zhǔn)確度。

4 結(jié)語

本文是大數(shù)據(jù)技術(shù)在實際生活領(lǐng)域的應(yīng)用，分別闡述了大數(shù)據(jù)分析技術(shù)在公共交通、醫(yī)藥領(lǐng)域、移動通信網(wǎng)絡(luò)優(yōu)化中的具體運用。借助大數(shù)據(jù)技術(shù)的即時性、準(zhǔn)確性和預(yù)測性，將其應(yīng)用到人們的日常生活領(lǐng)域，提高了人們的生活質(zhì)量。

參考文獻

[1]陳美.大數(shù)據(jù)在公共交通中的應(yīng)用[J]. 圖書與情報，2012（06）：22-28.

[2]張春麗，成.大數(shù)據(jù)分析技術(shù)及其在醫(yī)藥領(lǐng)域中的應(yīng)用[J].標(biāo)記免疫分析與臨床，2016（03）：327-333.

[3]汪敏，廖名揚.大數(shù)據(jù)分析在移動通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用研究[J].通訊世界，2017（02）：123.

[4]祝興平.大數(shù)據(jù)分析技術(shù)及其在數(shù)字出版中的應(yīng)用[J].出版發(fā)行研究，2014（04）：13-16.

[5]程學(xué)旗，靳小龍，王元卓，郭嘉豐，張鐵贏，李國杰.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J]. 軟件學(xué)報，2014（09）：1889-1908.

作者簡介

篇（7）

【關(guān)鍵詞】JAVA編程技術(shù) 網(wǎng)絡(luò)數(shù)據(jù)分析 技術(shù)應(yīng)用

1 JAVA編程技術(shù)的概念

對于JAVA編程技術(shù)的應(yīng)用的，為計算機軟件發(fā)展帶來了更廣闊的前景，在此環(huán)境中所開展的編程計劃也能夠更好的利用計算機數(shù)據(jù)資源，在有限的存儲使用空間內(nèi)，更大限度的完善編程所遇到的漏洞問題，提升計算機軟件的使用安全性。除此之外，在一些移動端的軟件開發(fā)中也廣泛的應(yīng)用到這種技術(shù)，更方便客戶使用過程中的軟件更新，并幫助提升軟件應(yīng)用過程中的使用安全性。技術(shù)主要是通過框架設(shè)計以及內(nèi)部數(shù)據(jù)程序的匯編來實現(xiàn)編程，所應(yīng)用的匯編語言也是特定的，程序框架能夠識別出這種語言，應(yīng)用后在程序編寫的效率上會有明顯的提升。針對使用過程中所遇到的網(wǎng)絡(luò)病毒入侵問題，在匯編過程中會設(shè)定特別的識別碼，這樣就不容易受到病毒的攻擊，并且程序框架之間也能夠相互配合，達到更理想的使用效果，這也是傳統(tǒng)方法中難以達到的標(biāo)準(zhǔn)，成為了JAVA編程技術(shù)應(yīng)用的決定性因素。

2 JAVA編程技術(shù)的網(wǎng)絡(luò)數(shù)據(jù)分析應(yīng)用特點

將JAVA編程技術(shù)與網(wǎng)絡(luò)數(shù)據(jù)分析相互結(jié)合，可以提升數(shù)據(jù)分析的速度，快速的實現(xiàn)分析目標(biāo)，所得到的結(jié)果也與實際情況相符合。技術(shù)不斷的發(fā)展，對于已經(jīng)完成的編程框架，可以在網(wǎng)絡(luò)環(huán)境中進行遠程升級，這樣為客戶使用預(yù)留了更多自定義的空間，也能夠更好的解決現(xiàn)場數(shù)據(jù)分析誤差問題。JAVA編程技術(shù)是十分嚴謹?shù)?，?yīng)用期間的框架設(shè)計決定了最終功能是否能夠?qū)崿F(xiàn)，以及功能實現(xiàn)的理想情況，在網(wǎng)絡(luò)環(huán)境中開展數(shù)據(jù)分析，需要遵從網(wǎng)絡(luò)環(huán)境的特點，觀察分析結(jié)果與實際情況是否能夠保持一致，并充分利用網(wǎng)絡(luò)數(shù)據(jù)環(huán)境來提升現(xiàn)場分析任務(wù)的全面性，這樣在最終結(jié)果上也能夠最大程度的降低誤差。

3 基于JAVA編程技術(shù)的網(wǎng)絡(luò)數(shù)據(jù)分析具體內(nèi)容

3.1 數(shù)據(jù)的采集與整理

采集整理數(shù)據(jù)是開展分析任務(wù)的首要步驟，在所進行的采集任務(wù)中，同樣是利用網(wǎng)絡(luò)環(huán)境的高效便捷性來進行的，技術(shù)人員只需要對最終的結(jié)果進行審核，觀察所采集的數(shù)據(jù)范圍是否能夠達到網(wǎng)絡(luò)分析的使用需求，并根據(jù)實際情況來適當(dāng)?shù)臄U大調(diào)整范圍，最大限度的降低分析調(diào)整過程中出現(xiàn)的數(shù)據(jù)丟失或者誤差現(xiàn)象。針對傳統(tǒng)方法中所存在的技術(shù)性問題，分析一段時間后，數(shù)據(jù)采集結(jié)果中會出現(xiàn)相關(guān)的異常，編程經(jīng)驗豐富的技術(shù)人員通過觀察這種異常便能夠了解到其中需要繼續(xù)深入完善的內(nèi)容，并通過技術(shù)性方法來更好的解決。編程技術(shù)的合理運用也是解決相關(guān)問題的有效方法之一，應(yīng)當(dāng)?shù)玫郊夹g(shù)人員的高度重視，對于編程期間框架設(shè)計，也可以根據(jù)數(shù)據(jù)的采集整理結(jié)果來進行，達到理想的效果，為接下來將要開展的工作任務(wù)打下穩(wěn)定基礎(chǔ)。

3.2 程序框架編寫

根據(jù)所要開展的工作任務(wù)以及程序的使用需求，先對大體框架進行編寫整理，達到理想的編寫效果，隨著程序匯編的審圖進行，數(shù)據(jù)分析也逐漸開展，并且進入到不同的深度階段。對于文章中常常提到的設(shè)計內(nèi)容優(yōu)化問題，程序匯編也起到了決定性作用，關(guān)系到優(yōu)化是否能夠順利進行并達到預(yù)期的目標(biāo)。匯編任務(wù)開展一段時間后，技術(shù)人員需要對網(wǎng)絡(luò)數(shù)據(jù)分析的結(jié)果進行審查，觀察其中是否存在誤差或者不合理的內(nèi)容，幫助更好的提升工作任務(wù)完成質(zhì)量，初期階段發(fā)現(xiàn)問題也能夠通過匯編技術(shù)來及時的調(diào)整，避免造成后期匯編資源方面的浪費?？蚣艹醪骄帉懲瓿珊螅M入到后續(xù)的分析應(yīng)用階段，應(yīng)用可以先進行試驗，觀察各項數(shù)據(jù)參數(shù)是否能夠達到理想的標(biāo)準(zhǔn)化水平，如果發(fā)現(xiàn)問題在這一階段可以進行調(diào)整，避免問題繼續(xù)深入，影響到軟件的正常使用。

技術(shù)發(fā)現(xiàn)會向著高效便捷的方向來進行，更多的應(yīng)用自動化技術(shù)，在對現(xiàn)場工作任務(wù)進行分析研究時，所遇到的問題大部分都能夠通過系統(tǒng)的自動更新來解決，使技術(shù)發(fā)展中所總結(jié)的經(jīng)驗?zāi)軌虻玫礁玫倪\用。技術(shù)發(fā)展需要全體編程技術(shù)人員的共同努力，充分利用現(xiàn)有資源來完成工作任務(wù)，通過這種方法可以使技術(shù)的發(fā)展方向得到更好的確定，并避免程序后期使用漏洞頻繁出現(xiàn)的問題發(fā)生。資源優(yōu)化利用也是未來的主要發(fā)展方向之一，需要得到技術(shù)人員的高度重視，并在日常編程分析工作中合理的運用這一方法來實現(xiàn)工作任務(wù)，促進管理計劃可以更穩(wěn)定的落實應(yīng)用。

4 結(jié)語

綜上所述，在我國計算機軟件飛速發(fā)展的當(dāng)下，JAVA編程語言已經(jīng)成為科學(xué)技術(shù)研發(fā)過程中不可或缺的重要內(nèi)容，大力發(fā)展計算機軟件JAVA編程技術(shù)已經(jīng)成為我國科學(xué)技術(shù)發(fā)展過程中的重要工作內(nèi)容。

參考文獻

[1]田家旗.Java開發(fā)語言的開發(fā)平臺與J2EE編程技術(shù)問題研究[J].信息技術(shù)與信息化，2016（04）.

[2]李健周.關(guān)于計算機軟件開發(fā)的JAVA編程語言研究[J].信息通信，2013（12）.

作者簡介

篇（8）

電力營銷數(shù)據(jù)分析系統(tǒng)的主要功能是采集數(shù)據(jù)，并對數(shù)據(jù)進行分析處理。而在中國推行電網(wǎng)改革后，電網(wǎng)系統(tǒng)的改革重點在于研究電力影響。此外，在電力營銷工作中依然存在在一些問題，這些問題對中國電力營銷行業(yè)的發(fā)展產(chǎn)生不良影響，甚至?xí)?dǎo)致企業(yè)資金的流失。在此形勢下，結(jié)合數(shù)據(jù)集成技術(shù)對電力營銷數(shù)據(jù)進行分析研究尤為重要。

1 實現(xiàn)電力營銷數(shù)據(jù)分析系統(tǒng)的困難所在

電力營銷數(shù)據(jù)分析系統(tǒng)指的是利用全球各個國家的網(wǎng)絡(luò)技術(shù)采集不同地區(qū)的電力營銷數(shù)據(jù)，并進行分析處理，然后利用遠程控制技術(shù)對這些數(shù)據(jù)進行傳輸管理，為決策提供科學(xué)的數(shù)據(jù)依據(jù)。

1.1分布式數(shù)據(jù)的采集、傳輸與轉(zhuǎn)換的障礙

我國電力營銷系統(tǒng)從數(shù)據(jù)接口形式上來說，并沒有形成完善嚴格的規(guī)定，系統(tǒng)軟件的運用也有一定差異。但是營銷數(shù)據(jù)的數(shù)量較為龐大，形式多種多樣，將這些數(shù)據(jù)存放在同一個系統(tǒng)中，轉(zhuǎn)換為系統(tǒng)所要求的格式進行存儲。這樣勢必會使數(shù)據(jù)傳輸存在安全隱患[1]。

1.2系統(tǒng)中的算法結(jié)構(gòu)與數(shù)據(jù)結(jié)構(gòu)問題

電力營銷系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)與算法結(jié)構(gòu)需進行改進處理，提高數(shù)據(jù)結(jié)構(gòu)與算法結(jié)構(gòu)的通用性。在電力營銷中，數(shù)據(jù)結(jié)構(gòu)與算法結(jié)構(gòu)會因為系統(tǒng)的不同而存在差異。在計算與分析處理數(shù)據(jù)的過程中，要求深入了解原有系統(tǒng)的基本特征，積極做好系統(tǒng)的通用算法轉(zhuǎn)換工作，調(diào)整與處理通用設(shè)計結(jié)構(gòu)以及數(shù)據(jù)接口，在滿足相關(guān)要求后，將其應(yīng)用到系統(tǒng)中[2]。

2 在電力營銷數(shù)據(jù)分析系統(tǒng)中應(yīng)用數(shù)據(jù)集成技術(shù)

從我國從2010年，基礎(chǔ)設(shè)施建設(shè)后，有關(guān)信息系統(tǒng)建設(shè)已經(jīng)進入到一個全新的發(fā)展階段，全年的系統(tǒng)集成服務(wù)市場總資產(chǎn)為288.69億元。2011年，中國系統(tǒng)集成服務(wù)市場的規(guī)模為349.11億元，同比增長了20.9%，而2012年、2013年系統(tǒng)集成服務(wù)的市場規(guī)模分別為419.67億元、499.06億元，詳見表1。

表1 中國從2010年至2013年系統(tǒng)集成服務(wù)的市場規(guī)模和增長率

時間（年） 2010 2011 2012 2013

市場規(guī)模（億元） 288.69 349.11 419.67 499.06

同比增長率（%） 19.7 20.9 20.2 18.9

中國內(nèi)部系統(tǒng)集成市場的發(fā)展規(guī)模呈高速增長趨勢，行業(yè)規(guī)模增長在219.5%左右。而推動數(shù)據(jù)系統(tǒng)集成技術(shù)發(fā)展，擴大其應(yīng)用領(lǐng)域制造業(yè)、各級各類企業(yè)信息化、教育以及政府應(yīng)用。我國其他行業(yè)信息化進程并沒有完成，對于系統(tǒng)集成需求需要不斷增加。電信、金融、政府這三大行業(yè)在系統(tǒng)集成服務(wù)中所占比重為55.1%，其他應(yīng)用領(lǐng)域，尤其是電力營銷領(lǐng)域所占比重較低。

銀行作為金融業(yè)IT投入的主體，是總體投資規(guī)模的72.2%，而銀行業(yè)IT投入的穩(wěn)定也是金融信息化投入增長的一個主要原因。圖1為2011年至2013年國內(nèi)金融業(yè)IT投資規(guī)模。

圖1 2011年至2013年國內(nèi)金融業(yè)IT投資規(guī)模統(tǒng)計圖

此外，雖然現(xiàn)階段全球?qū)τ谙到y(tǒng)集成的市場需求較大，然而系統(tǒng)集成市場的增速并沒有因此而快速增長，如圖2所示。

圖2 2007年至2013年全球系統(tǒng)集成的市場規(guī)模

其中 市場規(guī)模（億美元）

因此筆者建議加強數(shù)據(jù)集成技術(shù)在電力營銷數(shù)據(jù)分析系統(tǒng)中的應(yīng)用研究。下文從兩個方面應(yīng)用思路以及實現(xiàn)應(yīng)用這兩個方面進行探討[3]。

2.1應(yīng)用思路

根據(jù)系統(tǒng)內(nèi)部結(jié)構(gòu)可以將電力營銷數(shù)據(jù)分析系統(tǒng)劃分為兩個部分。其一，數(shù)據(jù)集成。其二，實現(xiàn)軟件功能。電力數(shù)據(jù)分析系統(tǒng)在運行的過程中，上述兩個部分使用的是同一數(shù)據(jù)庫服務(wù)器。而在系統(tǒng)中利用數(shù)據(jù)集成技術(shù)，即在全范圍內(nèi)對數(shù)據(jù)進行總體設(shè)計與總體布局，在全部數(shù)據(jù)運行過程中，創(chuàng)造完整、穩(wěn)定的數(shù)據(jù)環(huán)境，對系統(tǒng)基本功能以及算法結(jié)構(gòu)進行定義，在掌握數(shù)據(jù)庫結(jié)構(gòu)的基礎(chǔ)上，開發(fā)和利用[4]。

系統(tǒng)中的數(shù)據(jù)集成部分主要利用的是中間件技術(shù)，完成系統(tǒng)的再度開發(fā)，保障數(shù)據(jù)集成部分的功能得到正常得發(fā)揮，從而在采集數(shù)據(jù)與傳輸數(shù)據(jù)方面得到充分的應(yīng)用。在選擇利用中間件的過程中，需要密切注意中間件的質(zhì)量，確保技術(shù)的先進性，以此才能夠保障數(shù)據(jù)運行的穩(wěn)定性與安全性，從而提高設(shè)計應(yīng)用的質(zhì)量，減少傳輸數(shù)據(jù)過程中所造成的損失。

此外，從數(shù)據(jù)采集方面而言，類型不同的電力營銷系統(tǒng)也存在在一定的差異，這些差異包括以下三個方面。其一，數(shù)據(jù)內(nèi)容的多樣性。數(shù)據(jù)種類較多，包括了普通文件、關(guān)系數(shù)據(jù)等，要公開分析整理這些數(shù)據(jù)。其二，每個電力營銷系統(tǒng)應(yīng)用的是不同的數(shù)據(jù)管理系統(tǒng)，所以數(shù)據(jù)采集與數(shù)據(jù)管理也并不相同。其三，不同的數(shù)據(jù)訪問模式。按照數(shù)據(jù)存放形式的不同，一些數(shù)據(jù)訪問利用的是數(shù)據(jù)庫接口完成訪問，而另一些數(shù)據(jù)則利用訪問文件來完成數(shù)據(jù)訪問[5]。

2.2系統(tǒng)應(yīng)用

數(shù)據(jù)集成服務(wù)器：因為采集數(shù)據(jù)的過程中，采取的單向方式，因此服務(wù)器接收端位于本地，發(fā)送端和分布式數(shù)據(jù)庫聯(lián)系在一起，分兩端服務(wù)。

本地數(shù)據(jù)庫：因為各個電力營銷系統(tǒng)中的數(shù)據(jù)量較為龐大，為了確保訪問速度與數(shù)據(jù)容量，采取的是多個數(shù)據(jù)服務(wù)器方式。在數(shù)據(jù)庫中需要設(shè)計安裝存貯設(shè)備與觸發(fā)器，用來減少系統(tǒng)工作量，確保數(shù)據(jù)傳輸與處理的一致性。

應(yīng)用服務(wù)器：從具體應(yīng)用的要求出發(fā)，系統(tǒng)邏輯層的服務(wù)功能包括了兩類，其一，低級服務(wù)；其二，高級服務(wù)。其中低級服務(wù)指的是本地數(shù)據(jù)庫和其他數(shù)據(jù)庫的連接與維護。而高級服務(wù)功能則指的是根據(jù)要求配備不同組件，所有組件提供至少要求能夠提供一種特定服務(wù)。

數(shù)據(jù)傳輸?shù)陌踩砸螅涸趥鬏敂?shù)據(jù)的過程中，有多個渠道，而不同渠道在保障數(shù)據(jù)實時性與安全性方面并不相同，可以利用電子郵件進行數(shù)據(jù)傳輸，也可借助信息通信中間件進行數(shù)據(jù)傳輸，確保數(shù)據(jù)的單次傳輸。這種傳輸方式是以中間件作為渠道進行數(shù)據(jù)菜蔬，面向的是分布式信息中間件產(chǎn)品，在消息對列的基礎(chǔ)上，為分布式應(yīng)用搭建可靠、完整的信息交換平臺。對于傳輸安全性有著較高要求的客戶，可以利用信息通信中間件作為傳輸方式。例如：以信息通信中間件為主，電子郵件為輔的傳輸方式，數(shù)據(jù)接收服務(wù)器從信息隊伍中自動提取有關(guān)消息，從而完成數(shù)據(jù)通信[6]。

3結(jié)語

綜上所述，中國市場經(jīng)濟的穩(wěn)步發(fā)展，要求電力營銷企業(yè)不斷提高自身的市場競爭力，在實際的發(fā)展過程呢個中，應(yīng)用先進技術(shù)，不斷改進自身的經(jīng)營管理質(zhì)量，在電力營銷數(shù)據(jù)分析系統(tǒng)中充分應(yīng)用數(shù)據(jù)集成技術(shù)，提高數(shù)據(jù)采集與數(shù)據(jù)處理效率。

參考文獻：

[1]徐晶，徐鋒.數(shù)據(jù)集成技術(shù)在電力營銷數(shù)據(jù)分析系統(tǒng)中的應(yīng)用[J].科技致富向?qū)В?014，10（25）：201-202.

[2]賈玉君.國內(nèi)電力營銷監(jiān)控領(lǐng)域的研究現(xiàn)狀與發(fā)展[J].電力信息化，2010，09（15）：251-252.

[3]郭航宇.電力營銷數(shù)據(jù)分析中的數(shù)據(jù)集成技術(shù)研究[J].科技與創(chuàng)新，2014，10（09）：440-441.

[4]雷波.數(shù)據(jù)挖掘技術(shù)在電力營銷系統(tǒng)中的應(yīng)用研究[J].廣東科技，2014，02（08）：331-333.

篇（9）

本文討論了一些站點分析的相關(guān)技術(shù)信息和幾種網(wǎng)站分析瀏覽者行為的理論與算法，及數(shù)據(jù)倉庫的相關(guān)理論知識。并對站點日志數(shù)據(jù)進行了實例分析，并指出了站點分析技術(shù)發(fā)展的方向。

一、緒論

互聯(lián)網(wǎng)技術(shù)不斷革新與發(fā)展，給全球經(jīng)濟帶來新的革命，從而也影響著人們的生活。互聯(lián)網(wǎng)為企業(yè)提供了一種真正屬于自己并面對廣大網(wǎng)民的信息載體，企業(yè)通過這一載體，可以自由地將企業(yè)的產(chǎn)品、服務(wù)等其他相關(guān)信息在線。

電子商務(wù)就是網(wǎng)上實行各種商務(wù)活動的總包裝，種種所謂電子商務(wù)解決方案，實際上就是實現(xiàn)各種網(wǎng)上商務(wù)活動的硬件與軟件系統(tǒng)。它將影響到每一個人、每一個企業(yè)。電子商務(wù)的主體是我們每一個人、每一個企業(yè)，電子商務(wù)發(fā)展的過程就是對人們的生活、企業(yè)的運行的一種模式的一個巨大改變的過程。對于進入虛擬世界的商家而言，僅僅吸引注意力還不行，對它們而言，站點的訪問率絕對不僅僅是一個數(shù)字，它還是一種信息，如果網(wǎng)站能夠從網(wǎng)絡(luò)中獲得網(wǎng)民的信息并從中分析其行為誘因，那么就容易掌握網(wǎng)民的需求，從而利用互聯(lián)網(wǎng)去創(chuàng)造更多商機。

電子商務(wù)站點用戶行為的分析這一問題也因此成為現(xiàn)如今的熱門話題，被人們普遍關(guān)心起來，尤其是被眾商家所重視。Web站點的日志數(shù)據(jù)正以每天數(shù)十兆的速度增長。如何分析這些數(shù)據(jù)，如何從這些大量數(shù)據(jù)中發(fā)現(xiàn)有用的、重要的知識(包括模式、規(guī)則、可視化結(jié)構(gòu)等)也成為現(xiàn)在人們最關(guān)注的信息。

在此情況下，站點用戶行為分析就可為網(wǎng)站或商家提供出大量有價值的信息，包括站點的受歡迎度的對比、商業(yè)廣告點擊情況總括、產(chǎn)品的反饋信息、站點各種信息的點擊情況等等。另外，還可根據(jù)不同的頁面內(nèi)容來分類瀏覽者，以便做出更合理的頁面分類，促使網(wǎng)站逐步向個性化、最優(yōu)化狀態(tài)發(fā)展。這一技術(shù)對互聯(lián)網(wǎng)的發(fā)展壯大有著不可忽視的巨大作用，它的發(fā)展對信息技術(shù)亦將產(chǎn)生深遠的影響。

在電子商務(wù)早期階段時，Web站點數(shù)據(jù)流分析通常是在主頁上安裝計數(shù)器以及在一個外部日志文件上運行簡單的統(tǒng)計程序記錄點擊率。但是，簡單的點擊計數(shù)既不準(zhǔn)確也遠未達到營銷目的所需的詳細程度。因此，各公司開始尋找更先進的分析工具，這類工具可以提供誰在訪問公司W(wǎng)eb站點以及訪問者一旦進入站點后將做些什么的全面信息。站點開始分析的地方是Web服務(wù)器的訪問日志。每當(dāng)用戶在站點上請求一個網(wǎng)頁時，這個請求就被記錄在訪問日志中。如:目前有多少用戶正在訪問站點、他們正在看哪些網(wǎng)頁以及他們在站點中呆了多長時間。顯然，日志分析和行為概況的正確組合可以對Web站點的成功產(chǎn)生直接影響。此外，從日志分析中得到的信息是很難從真實世界中捕獲到的，但這些信息卻可以較容易地在線收集到。Web數(shù)據(jù)流分析工具的這些最新進展可以使網(wǎng)站獲得有關(guān)上網(wǎng)客戶和他們習(xí)慣的詳細報告。

二、站點信息統(tǒng)計方法

Web頁面數(shù)據(jù)主要是半結(jié)構(gòu)化數(shù)據(jù)，計算機網(wǎng)絡(luò)技術(shù)和信息技術(shù)的飛速發(fā)展，使得半結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)日益繁榮的趨勢。半結(jié)構(gòu)化數(shù)據(jù)，是一種介于模式固定的結(jié)構(gòu)化數(shù)據(jù)，和完全沒有模式的無序數(shù)據(jù)之間，在查詢前無法預(yù)先確定其具體的類型和格式;同時它們相應(yīng)的數(shù)據(jù)結(jié)構(gòu)是不固定、不完全或不規(guī)則的，即這些數(shù)據(jù)有的本身就沒有結(jié)構(gòu)，有的只有十分松散的結(jié)構(gòu)，有的數(shù)據(jù)的結(jié)構(gòu)是隱含的，需要從數(shù)據(jù)中進行抽取。而有時，盡管數(shù)據(jù)本身是有精確結(jié)構(gòu)的，但為了一定的目的，而故意忽視它的結(jié)構(gòu)。半結(jié)構(gòu)化數(shù)據(jù)具有以下五方面的

主要特點:

1.結(jié)構(gòu)是不規(guī)則的。包含異構(gòu)數(shù)據(jù)、相同的數(shù)據(jù)信息用不同類型或不同的結(jié)構(gòu)表示。

2.結(jié)構(gòu)是隱含的。如電子文檔SGML格式。

3.結(jié)構(gòu)是部分的，有時部分數(shù)據(jù)根本無結(jié)構(gòu)，而部分數(shù)據(jù)只有粗略的結(jié)構(gòu)。

4.指示性結(jié)構(gòu)與約束性結(jié)構(gòu)。傳統(tǒng)的數(shù)據(jù)庫使用嚴格的分類策略來保護數(shù)據(jù)。而指示性數(shù)據(jù)結(jié)構(gòu)是對結(jié)構(gòu)的一種非精確的描述。它可接受所有新數(shù)據(jù)，代價是要頻繁修改結(jié)構(gòu)。

5.半結(jié)構(gòu)化數(shù)據(jù)通常在數(shù)據(jù)存在之后才能通過當(dāng)前數(shù)據(jù)歸納出其結(jié)構(gòu)，稱之為事后模式引導(dǎo)。模式有時可被忽略，同時數(shù)據(jù)與數(shù)據(jù)模式間的區(qū)別逐漸消除。

三、數(shù)據(jù)分析的方法

Web頁面的數(shù)據(jù)通常是利用統(tǒng)計模型和數(shù)學(xué)模型來分析的。使用的模型有線性分析和非線性分析;連續(xù)回歸分析和邏輯回歸分析;單變量和多變量分析以及時間序列分析等。這些統(tǒng)計分析工具能提供可視化功能和分析功能來尋找數(shù)據(jù)間關(guān)系、構(gòu)造模型來分析、解釋數(shù)據(jù)。并通過交互式過程和迭代過程用來求精模型，最終開發(fā)出最具適應(yīng)性的模型來將數(shù)據(jù)轉(zhuǎn)化為有價值的信息。

知識發(fā)現(xiàn)是從數(shù)據(jù)倉庫的大量數(shù)據(jù)中篩取信息，尋找經(jīng)常出現(xiàn)的模式，檢查趨勢并發(fā)掘?qū)嵤?。它是分析Web頁面數(shù)據(jù)的重要方法。知識發(fā)現(xiàn)與模式識別的算法有以下幾種:

1.依賴性分析

依賴性分析算法搜索數(shù)據(jù)倉庫的條目和對象，從中尋找重復(fù)出現(xiàn)概率很高的模式。它展示了數(shù)據(jù)間未知的依賴關(guān)系。利用依賴性分析算法可以從某一數(shù)據(jù)對象的信息來推斷另一數(shù)據(jù)對象的信息。例如:在雜貨店中，一堆椒鹽餅干放在陳列飲料的走道上，這是因為經(jīng)過依賴性分析，商店認為:很大一部分買飲料的顧客如果在取飲料的路上看到椒鹽餅干的話就會購買，因而此種分析影響了商店布局。

2.聚類和分類

在某些情況下，無法界定要分析的數(shù)據(jù)類，用聚類算法發(fā)現(xiàn)一些不知道的數(shù)據(jù)類或懷疑的數(shù)據(jù)類。聚類的過程是以某一特定時間為依據(jù)，找出一個共享一些公共類別的群體，它稱為無監(jiān)督學(xué)習(xí)。分類過程，這是發(fā)現(xiàn)一些規(guī)定某些商品或時間是否屬于某一特定數(shù)據(jù)子集的規(guī)則。這些數(shù)據(jù)類很少在關(guān)系數(shù)據(jù)庫中進行定義，因而規(guī)范的數(shù)據(jù)模型中沒有它們的位置。最典型的例子是信用卡核準(zhǔn)過程，可確定能否按商品價格和其它標(biāo)準(zhǔn)把某一購買者歸入可接受的那一類中。分類又稱為有監(jiān)督學(xué)習(xí)。

3.神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)待分析數(shù)據(jù)中的模式來構(gòu)造模型。它對隱式類型進行分類。圖像分析是神經(jīng)網(wǎng)絡(luò)最成功的應(yīng)用之一。神經(jīng)網(wǎng)絡(luò)用于模型化非線性的、復(fù)雜的或噪聲高的數(shù)據(jù)。一般神經(jīng)模型由三個層次組成:數(shù)據(jù)倉庫數(shù)據(jù)輸入、中間層(各種神經(jīng)元)和輸出。它通常用恰當(dāng)?shù)臄?shù)據(jù)庫示例來訓(xùn)練和學(xué)習(xí)、校正預(yù)測的模型，提高預(yù)測結(jié)果的準(zhǔn)確性。

4.數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則

關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘的一個重要內(nèi)容，通常關(guān)聯(lián)規(guī)則反映的是數(shù)據(jù)間的定性關(guān)聯(lián)關(guān)系。如一個商品交易數(shù)據(jù)庫，一條記錄表示用戶一次購買的商品種類，每個屬性(A、B……)代表一種商品，每個屬性都是布爾類型的。一條關(guān)聯(lián)規(guī)則的例子是:{A、B}{D}[2%][60%]，規(guī)則的含義是“如果用戶購買商品A和B，那么也可能購買商品D，因為同時購買商品A、B和D的交易記錄占總交易數(shù)的2%而購買A和B的交易中，有60%的交易也包含D”。規(guī)則中60%是規(guī)則的信任度，2%是規(guī)則的支持度。數(shù)據(jù)挖掘就是要發(fā)現(xiàn)所有滿足用戶定義的最小信任度和支持度閥值限制的關(guān)聯(lián)規(guī)則。數(shù)據(jù)只是定性地描述一個交易是否包含某商品，而對交易量沒有定量描述，這種布爾類型數(shù)據(jù)間的關(guān)聯(lián)規(guī)則被稱為定性關(guān)聯(lián)規(guī)則。但數(shù)據(jù)記錄的屬性往往是數(shù)值型或字符型的，這些數(shù)據(jù)間也存在對決策有幫助的關(guān)聯(lián)規(guī)則，相對于定性關(guān)聯(lián)規(guī)則，這些規(guī)則被稱為定量關(guān)聯(lián)規(guī)則。

另外，數(shù)據(jù)挖掘目前仍面臨著數(shù)據(jù)質(zhì)量的問題。由于數(shù)據(jù)倉庫中的數(shù)據(jù)來自多個數(shù)據(jù)源，而在合并中存在很多障礙，如:沒有建立合并視圖所需的公共關(guān)鍵字;數(shù)據(jù)值相互抵觸;元數(shù)據(jù)的說明不完備或丟失;數(shù)據(jù)值的不潔凈等等。數(shù)據(jù)挖掘是在標(biāo)準(zhǔn)化的數(shù)據(jù)基礎(chǔ)上進行的，因而這些都會嚴重破壞數(shù)據(jù)的準(zhǔn)確性，導(dǎo)致最終決策的失誤。所有這些問題都在等待著人們?nèi)グl(fā)掘更好的解決方法。

參考資料

1.周斌，吳泉源，高洪奎:“用戶訪問模式數(shù)據(jù)挖掘的模型與算法研究”，《計算機研究與發(fā)展》，1999 vol.36 No.7 P.870-875;

2.Srikant R，Vu W，Agrawal R.Mining association rules with itemconstrains.IBM Almaden Research Center，Tech Rep:97.056，1997;

3.Park J S，Chen M，Yu P S.Aneffective hash based algorithm for miningassociation ru1es.In:ACM InternationalConference on Management of Data，Caliform，1995;

篇（10）

引言

LIN是一種低成本的串行通訊網(wǎng)絡(luò)，用于實現(xiàn)汽車中的分布式電子系統(tǒng)控制。LIN的目標(biāo)是為現(xiàn)有汽車網(wǎng)絡(luò)(例如CAN總線)提供輔助功能。在不需要CAN總線的帶寬和多功能的場合，比如智能傳感器和制動裝置之間的通訊，使用LIN總線可大大節(jié)省成本。

目前，低成本的局部互聯(lián)網(wǎng)絡(luò)LIN在汽車電子和工業(yè)控制中的應(yīng)用越來越廣泛，而基于LIN總線的協(xié)議分析和調(diào)試測試工具少且昂貴。大部分LIN總線開發(fā)工具存在一些問題：(1)調(diào)試LIN總線通常做法是通過網(wǎng)關(guān)將LIN幀轉(zhuǎn)換成CAN幀，再用基于CAN的測試工具間接調(diào)試LIN，當(dāng)網(wǎng)關(guān)出現(xiàn)問題時這種方式就行不通；(2)和PC連接時采用串口或USB接口等有線的連接方式，在特定環(huán)境無法引線的情況下無法進行現(xiàn)場開發(fā)調(diào)試。

SoC(System on a Chip片上系統(tǒng))技術(shù)是將微控制器或DSP核、存儲器、邏輯電路、I/O接口及其他功能模塊綜合在一顆芯片上的系統(tǒng)解決方案。由于處理器和存儲器的可編程能力，使得這種以CPU為核心的解決方案具有很強的靈活性和可修改能力。賽普拉斯(cy―press)公司開發(fā)的PSoC是目前最具靈活性的基于微控制器的片上系統(tǒng)解決方案，它模塊化的片內(nèi)數(shù)字和模擬電路不僅具有很高的可編程性，而且還可以實現(xiàn)動態(tài)重新配置，即在運行時根據(jù)系統(tǒng)不同時刻的需求，通過編程動態(tài)地改變存儲在片內(nèi)閃速存儲器中設(shè)定的參數(shù).重新定義系統(tǒng)所需要功能模塊的種類和數(shù)量，動態(tài)地完成芯片資源的重新分配，實現(xiàn)新的元器件的功能。采用PSoC可以迅速縮短設(shè)計周期，降低設(shè)計風(fēng)險，保證系統(tǒng)資源的最大化、最合理化和最經(jīng)濟化應(yīng)用，在無線、手持式設(shè)備、數(shù)據(jù)通信和工業(yè)系統(tǒng)設(shè)計等領(lǐng)域PSoC都有著廣泛的應(yīng)用。

WirelessUSB是Cypress公司專門針對短距離點到點或多點到點的無線連接而設(shè)計的一種低延遲、干擾免疫、低成本和低功耗的短距離無線網(wǎng)絡(luò)，適合無線電腦外設(shè)和無線傳感器網(wǎng)絡(luò)應(yīng)用。WirelessUSB的協(xié)議是輕量級的，可以在只帶256字節(jié)RAM和8K字節(jié)ROM的8位微控制器中實現(xiàn)。WirelessUSB使用頻分多址(FDMA)和碼分多址(CDMA)，可有效避開其它無線網(wǎng)絡(luò)的干擾，能夠與藍牙、Wi-Fi等無線網(wǎng)絡(luò)共存，在面向2.4GHz無線系統(tǒng)的同類產(chǎn)品中提供最佳的抗干擾性能。傳輸距離從10米(最高1Mbps)到50米(最高62.5Kbps)，使用既有的USB架構(gòu)，因此無須特別的驅(qū)動軟件。

為彌補LIN網(wǎng)絡(luò)開發(fā)工具的不足，本文提出的方案一基于PSOC的無線LIN總線分析儀，通過無線連接能并行調(diào)試多個LIN總線，在有效降低開發(fā)成本和提高開發(fā)效率的同時提供更好的擴展性和靈活性。

LIN總線分析儀硬件介紹

LIN總線數(shù)據(jù)分析系統(tǒng)由主機橋接器(1個)和總線監(jiān)控終端(多個)兩部分組成。總線監(jiān)控終端采集LIN總線上的數(shù)據(jù)，通過無線網(wǎng)絡(luò)發(fā)送給主機橋接器；主機橋接器從無線網(wǎng)絡(luò)上接收LIN總線監(jiān)控數(shù)據(jù)，通過USB接口發(fā)送到PC，由PC監(jiān)控軟件對數(shù)據(jù)做進一步處理。系統(tǒng)可以實現(xiàn)數(shù)據(jù)監(jiān)聽、錯誤檢測、主機仿真、從機仿真等功能。

系統(tǒng)的硬件由主機橋接器(通過USB接口連接PC)和LIN總線監(jiān)控終端(連接LIN總線)組成，LIN總線監(jiān)控終端選用MCU＋RF的構(gòu)架，包括PSoC控制器、射頻收發(fā)器、LIN收發(fā)器和電源管理等。

主機橋接器采用PRoC架構(gòu)，在單芯片內(nèi)集成了線性穩(wěn)壓器、enCoRe-U微控制器、USB設(shè)備和射頻收發(fā)器，僅需極少的外部元件。

系統(tǒng)在選擇控制器時考慮到功能的擴展，選用了功能強大的CY8C29466，它集成了性能為4M1PS的8位M8C處理器、32K的Flash、2K的SRAM，還集成了24／48MHz晶振、32KHz晶振，以及16個可編程的功能強大的數(shù)字用戶模塊、12個模擬用戶模塊和可編程的內(nèi)部互聯(lián)，可非常方便地選用多達100種的外設(shè)和設(shè)置連接方式，將PCB上大部分的元件和走線移到芯片內(nèi)部，而且可動態(tài)重配置，開發(fā)非常靈活。

系統(tǒng)中的射頻芯片選擇CYRF6936，它屬于WirelessUSB LP系列，是Cypress的第二代射頻片上系統(tǒng)(Soc)，兼容第一代的CYWUSB69XX器件。CYRF6936增加了一系列增強的特性，包括更廣的操作電壓范圍(1.8～3.6V)、更小的工作電流、更高的數(shù)據(jù)率(最大速率為1Mbps)、更短的晶振起振時間、同步穩(wěn)定時間和鏈路切換時間。CYRF6936可用于無線鼠標(biāo)鍵盤、無線操縱桿、遠程無線傳感和控制、無線耳機、家庭自動化和自動化儀表等。

主機橋接器(Bridge)選用Cypress的PRoC(Programmable Radio On Chip)LP(Low Power)芯片CYRF69213。PRoC LP器件在一個芯片里集成了微控制器和射頻收發(fā)器，是同樣封裝提供雙重功能的單芯片解決方案，它主要集成了性能為4MIPS的8位M8C處理器、USB2.0低速接口、2.4GHz射頻收發(fā)器，內(nèi)部還集成了3.3V電壓調(diào)節(jié)器和USB上拉電阻等，大大減少外部元件，縮小電路板面積，有效降低成本。CYRF69.213的主要用于無線網(wǎng)絡(luò)的橋接器，將無線網(wǎng)絡(luò)的數(shù)據(jù)通過USB接口發(fā)往PC機，同時將PC機的控制命令發(fā)給無線設(shè)備。

局部互聯(lián)網(wǎng)絡(luò)(LIN)是車身網(wǎng)絡(luò)的最低層級的網(wǎng)絡(luò)，它提供了傳感器和執(zhí)行器之間的低成本通信。本論文采用LIN總線驅(qū)動器MC33661符合LIN 2.0規(guī)范，很好地解決了以前的驅(qū)動器MC33399模式過于單一、無法調(diào)節(jié)翻轉(zhuǎn)頻率導(dǎo)致器件功耗較大、驅(qū)動功率不夠等問題。

考慮到系統(tǒng)的外部電源、MCU和無線射頻模塊的工作電源、MCU的工作電流，電源模塊選用帶關(guān)斷功能的低壓差線性穩(wěn)壓器LT1121－5(5V穩(wěn)壓)和高效率的線性電壓調(diào)節(jié)器AMS1117～3.3(3.3V穩(wěn)壓)。

LIN總線分析儀軟件介紹

本系統(tǒng)的軟件設(shè)計方案圍繞著數(shù)據(jù)的提取、傳輸和處理。從數(shù)據(jù)流向上看，數(shù)據(jù)經(jīng)過四個階段的處理，分剮是LIN總線協(xié)議處理( 從總線上提取數(shù)據(jù)幀)、WirelessUSB協(xié)議處理、USB協(xié)議處理和PC監(jiān)控軟件的處理(顯示監(jiān)控數(shù)據(jù)和總線信息)。本系統(tǒng)軟件可分成三大部分：總線監(jiān)控終端、主機橋接器和PC，其中總線監(jiān)控終端包括LIN協(xié)議處理和WirelessUSB協(xié)議處理，主機橋接器包括WirelessUSB協(xié)議處理和USB協(xié)議處理，PC包括USB協(xié)議處理和監(jiān)控軟件處理。

軟件需要處理的任務(wù)

總線監(jiān)控終端軟件設(shè)計

LIN總線監(jiān)控任務(wù)：該任務(wù)時刻監(jiān)控LIN總線的活動，當(dāng)有數(shù)據(jù)幀到達時，將接收到的數(shù)據(jù)幀放入無線發(fā)送緩沖區(qū)，同時還需處理沖突和數(shù)據(jù)出錯。

WirelessUSB從機傳輸任務(wù)：該任務(wù)監(jiān)控數(shù)據(jù)幀傳送到主機橋接器，同時接收主機的配置信息，傳遞給LIN監(jiān)控任務(wù)。

主機橋接器軟件設(shè)計

主機USB設(shè)備監(jiān)聽任務(wù)：主要處理和USB主機的交互，時刻監(jiān)聽USB主機的請求事務(wù)。

WirelessUSB主機傳輸任務(wù)：主要功能是接收監(jiān)控數(shù)據(jù)幀，傳送給USB監(jiān)聽任務(wù)，同時將主機的配置信息傳送給總線監(jiān)控終端。

PC機監(jiān)控軟件設(shè)計：

主機USB傳輸任務(wù)：該任務(wù)主要處理主機與USB設(shè)備的交換，定時發(fā)送事務(wù)輪詢USB設(shè)備。

主機輸入輸出處理任務(wù)：該任務(wù)主要處理USB數(shù)據(jù)與用戶的交互。

LIN2.1協(xié)議各層的實現(xiàn)任務(wù)

LIN總線具有規(guī)范的分層結(jié)構(gòu)，它定義了物理層、數(shù)據(jù)鏈路層和傳輸層的協(xié)議規(guī)范。物理層定義了LIN總線傳輸媒介的物理特性、總線驅(qū)動和接收特性、位速率誤差和位定時和同步等。數(shù)據(jù)鏈路層實現(xiàn)數(shù)據(jù)幀接收和錯誤檢測、波特率計算以及數(shù)據(jù)的包裝，解包，負責(zé)報文過濾和恢復(fù)管理等功能。傳輸層實現(xiàn)了單幀或多幀數(shù)據(jù)傳輸，在應(yīng)用層和數(shù)據(jù)鏈路層之間翻譯數(shù)據(jù)幀，傳輸診斷請求和響應(yīng)，提供外部總線的診斷接口，實現(xiàn)節(jié)點配置、識別和診斷。

數(shù)據(jù)鏈路層是LIN2.1協(xié)議的核心，負責(zé)發(fā)送和接收數(shù)據(jù)幀，處理信號的組幀和解幀。

LIN協(xié)議的數(shù)據(jù)鏈路層的PSoC實現(xiàn)

由于LIN總線分析儀既可以監(jiān)聽總線活動，也可以仿真主機或從機節(jié)點。重點介紹總線分析儀數(shù)據(jù)鏈路層的實現(xiàn)?？偩€分析儀的數(shù)據(jù)鏈路層的實現(xiàn)包括調(diào)度表定時、間隔場的產(chǎn)生、間隔場和同步場的接收以及數(shù)據(jù)的傳輸。

調(diào)度表定時是通過一個8位計數(shù)器(schedule Timer)來實現(xiàn)的。間隔場采用三個8位計數(shù)器產(chǎn)生，一個8位計數(shù)器(SB_Baud_Rate_Counter)用來產(chǎn)生波特率時鐘，為后兩個計數(shù)器提供時鐘；一個8位計數(shù)器(sB_Bit_Time_Counter)用來在每個數(shù)據(jù)位的中間產(chǎn)生位時中斷；一個8位計數(shù)器(Synchro_Break_Counter)用來產(chǎn)生實際的間隔場。

接收間隔場和同步場的硬件配置包括1個16位的定時器、1個16位的計數(shù)器和RX(串口接收)引腳。一個帶輸入捕捉的16位定時器用來計算間隔場和同步場上升沿和下降沿之間的時間。一個16位的計數(shù)器用來判斷超時狀態(tài)。RX引腳連接到定時器的輸入捕捉，配置捕捉觸發(fā)為上升沿或下降沿。同時，使能RX引腳的GPIO中斷，所有的計算都在GPIO中斷服務(wù)程序中進行。

數(shù)據(jù)傳輸階段的硬件配置包括2個8位計數(shù)器、1個串口接收模塊和1個串口發(fā)送模塊。一個8位計數(shù)器(DR_Baud_Rate_Counter)用來產(chǎn)生波特率時鐘；一個8位計數(shù)器(Bit_Time_Counter)用來在每個數(shù)據(jù)位的中間產(chǎn)生位時中斷，串口接收模塊(RX8)用來接收數(shù)據(jù)(UART 8N1編碼格式)；串口發(fā)送模塊(TX8)用來發(fā)送數(shù)據(jù)(UART 8N1編碼格式)。

相關(guān)處理如下：

緩沖器空中斷：如果是第一次中斷，則啟動位時定時器并打開中斷。如果要發(fā)送的字節(jié)數(shù)為O，則置最后字節(jié)已發(fā)送標(biāo)志，否則發(fā)送下一字節(jié)數(shù)據(jù)，同時字節(jié)數(shù)減1。

接收緩沖器滿中斷：當(dāng)工作監(jiān)聽模式時，將所有接收到的數(shù)據(jù)保存到臨時緩沖區(qū)。分析儀如果處于發(fā)送狀態(tài)時則立即中斷返回，否則處理接收的數(shù)據(jù)。當(dāng)工作在主機模式時，隨后的處理與主機的接收中斷處理相同。當(dāng)工作在從機模式時，隨后的處理與從機的接收中斷處理相同。

數(shù)據(jù)傳輸位超時中斷：當(dāng)工作在主機模式時，中斷處理與主機的位超時中斷處理相同。當(dāng)工作在從機模式時，隨后的處理與從機的位超時中斷處理相同。

數(shù)據(jù)傳輸位錯誤中斷：位時計數(shù)器每位產(chǎn)生一次中斷，在ISR中通過比較TX和RX引腳是否相同來判斷是否有位錯誤。如果檢測到位錯誤，將載人接收間隔場和同步場的硬件配置，退出幀傳輸。

主機節(jié)點的數(shù)據(jù)鏈路層實現(xiàn)包括調(diào)度表的定時、間隔場的產(chǎn)生、字節(jié)數(shù)據(jù)(包括同步場和PID)的發(fā)送和字節(jié)數(shù)據(jù)的接收。