序論：好文章的創(chuàng)作是一個(gè)不斷探索和完善的過(guò)程，我們?yōu)槟扑]十篇大數(shù)據(jù)開(kāi)發(fā)的過(guò)程范例，希望它們能助您一臂之力，提升您的閱讀品質(zhì)，帶來(lái)更深刻的閱讀感受。

篇（1）

自上個(gè)世紀(jì)90年代初，信息高速公路在美國(guó)提出以來(lái)，歷經(jīng)近30年的發(fā)展演進(jìn)，信息技術(shù)發(fā)展突飛猛進(jìn)，信息化領(lǐng)域的新技術(shù)、新詞語(yǔ)層出不窮，諸如IT技術(shù)、互聯(lián)網(wǎng)技術(shù)、大數(shù)據(jù)技術(shù)、區(qū)塊鏈技術(shù)、人工智能等。并且對(duì)人們的生產(chǎn)、生活方式產(chǎn)生了深刻的影響，認(rèn)為現(xiàn)在進(jìn)入了大數(shù)據(jù)時(shí)代、萬(wàn)物互聯(lián)時(shí)代、智能化時(shí)代等。筆者認(rèn)為，一直以來(lái)，其中除了硬件的發(fā)展，還有兩個(gè)關(guān)鍵因素同樣值得關(guān)注，一是數(shù)據(jù)，其是基礎(chǔ)和目的；二是軟件，其是方法和工具。唯如此，才能實(shí)現(xiàn)在軟件生命周期即設(shè)計(jì)、開(kāi)發(fā)、運(yùn)行、優(yōu)化，實(shí)現(xiàn)與大數(shù)據(jù)生命周期即獲取、清洗、集成、分析、呈現(xiàn)等的互動(dòng)。[1]換言之，現(xiàn)在來(lái)說(shuō)，就是大數(shù)據(jù)和軟件工程，二者助推了信息技術(shù)的發(fā)展，同時(shí)也是信息化的產(chǎn)物，在大數(shù)據(jù)時(shí)代背景下，研究軟件工程技術(shù)的應(yīng)用，對(duì)于經(jīng)濟(jì)社會(huì)的發(fā)展有著十分重要的意義。

1大數(shù)據(jù)和軟件工程簡(jiǎn)述

1.1大數(shù)據(jù)簡(jiǎn)述

沃爾瑪?shù)摹捌【婆c尿布”是眾所周知的大數(shù)據(jù)經(jīng)典案例，大數(shù)據(jù)已經(jīng)是當(dāng)今信息社會(huì)炙手可熱、耳熟能詳?shù)脑~匯，而且已形成共識(shí)，即人類(lèi)已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代。上個(gè)世紀(jì)80年代初，《第三次浪潮》一書(shū)風(fēng)行全世界。該書(shū)作者美國(guó)社會(huì)思想家阿爾文托夫勒就在文中將人類(lèi)社會(huì)發(fā)展劃分為三次浪潮，即以“農(nóng)業(yè)文明”為主導(dǎo)的第一次浪潮，以“工業(yè)文明”為主導(dǎo)的第二次浪潮，以“信息化”為主導(dǎo)第三次浪潮。[2]其中首次提出了“大數(shù)據(jù)”（BigData）一詞，并且，以“第三次浪潮的華彩樂(lè)章”這樣的用詞對(duì)其進(jìn)行熱情的謳歌。[3]全球著名咨詢公司麥肯錫于2011年5月了《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)前沿》報(bào)告，公認(rèn)此報(bào)告宣告了大數(shù)據(jù)時(shí)代的到來(lái)。由于大數(shù)據(jù)概念的提出源于不斷的發(fā)展實(shí)踐，其本身并沒(méi)有嚴(yán)格、權(quán)威的定義。通常認(rèn)為，大數(shù)據(jù)的大即大數(shù)據(jù)集的規(guī)模一般應(yīng)達(dá)到10TB左右，現(xiàn)在已經(jīng)達(dá)到了PB級(jí)的數(shù)據(jù)量。維基百科稱“大數(shù)據(jù)”是這樣一個(gè)術(shù)語(yǔ)，即其是用以描述用傳統(tǒng)的數(shù)據(jù)處理應(yīng)用軟件無(wú)法完好處理的龐大的或者復(fù)雜的數(shù)據(jù)集。但“大數(shù)據(jù)”這一概念并不僅僅指數(shù)據(jù)規(guī)模的龐大，還包括對(duì)這些數(shù)據(jù)對(duì)象的處理以及應(yīng)用活動(dòng)。IBM提出大數(shù)據(jù)通常具有“5V”特征：Volume（數(shù)據(jù)體量大）、Variety（數(shù)據(jù)類(lèi)別多樣）、Velocity（處理速度快）、Veracity（數(shù)據(jù)真實(shí)性高）、Volume（數(shù)據(jù)價(jià)值高）。[4]大數(shù)據(jù)技術(shù)分類(lèi)并分平行關(guān)系，而是呈縱向、層級(jí)狀結(jié)構(gòu)，詳見(jiàn)圖1所示。

1.2軟件工程簡(jiǎn)述

軟件工程本身并沒(méi)有嚴(yán)格、權(quán)威的定義。并且，也是直到20世紀(jì)60年代初才出現(xiàn)了“軟件”一詞，于此之前，更多的是程序的概念，后來(lái)人們認(rèn)識(shí)到與程序相關(guān)的文檔也有著相當(dāng)重要的作用，才有了“軟件”一詞的出現(xiàn)。軟件發(fā)展至今天，已經(jīng)遠(yuǎn)遠(yuǎn)不是程序個(gè)體或者程序員合作的方式能夠完成的，即使能夠完成，也會(huì)是效率低下、程序運(yùn)行可靠性差，或者說(shuō)根本就無(wú)法完成。于是，在1968年召開(kāi)的大西洋公約學(xué)術(shù)會(huì)議上提出了軟件工程的概念,簡(jiǎn)單理解，就是以工程的方法來(lái)進(jìn)行軟件系統(tǒng)設(shè)計(jì)、開(kāi)發(fā)、運(yùn)行、維護(hù)、優(yōu)化等技術(shù)的總和，進(jìn)一步言之，就是用“計(jì)算機(jī)科學(xué)、數(shù)學(xué)管理科學(xué)等原理，以工程化方法制作軟件的工程”，屬于一門(mén)交叉學(xué)科。[5]通常認(rèn)為其包含有四個(gè)要素：（1）軟件工程目標(biāo)；（2）軟件工程范型；（3）軟件工程過(guò)程；（4）軟件工程原則。

2大數(shù)據(jù)與軟件工程的結(jié)合方式

宏觀上講，軟件工程是比大數(shù)據(jù)更為寬泛的概念，大數(shù)據(jù)的技術(shù)與應(yīng)用被軟件工程所涵攝。如圖1所示意，雖然大數(shù)據(jù)的各項(xiàng)技術(shù)與應(yīng)用屬于垂直領(lǐng)域，而軟件工程牽涉的是橫向領(lǐng)域，更加關(guān)注軟件產(chǎn)品及軟件系統(tǒng)工程上的實(shí)現(xiàn)及其管理。但是，大數(shù)據(jù)無(wú)論是其產(chǎn)品還是其系統(tǒng)的完成與落地，都離不開(kāi)軟件工程方法論的支持。換言之，軟件工程的方法與技術(shù)貫穿于大數(shù)據(jù)的開(kāi)發(fā)與應(yīng)用，大數(shù)據(jù)也只是在軟件工程發(fā)展過(guò)程中出現(xiàn)的概念。軟件工程開(kāi)發(fā)具有綜合性，其應(yīng)用滲透于各個(gè)學(xué)科和領(lǐng)域，大數(shù)據(jù)的技術(shù)與應(yīng)用當(dāng)然是軟件工程所關(guān)注和研究的對(duì)象，或者說(shuō)大數(shù)據(jù)技術(shù)的每一環(huán)節(jié)都離不開(kāi)軟件工程的支持。大數(shù)據(jù)應(yīng)用的基礎(chǔ)是要依賴數(shù)據(jù)鏈條的完整性，采用相應(yīng)的算法于海量的數(shù)據(jù)中進(jìn)行規(guī)律分析，算法要依據(jù)相應(yīng)的實(shí)際環(huán)境進(jìn)行相應(yīng)的升級(jí)，遵循開(kāi)發(fā)的基本原理，充分調(diào)整數(shù)據(jù)分布，從而在研究過(guò)程中將大數(shù)據(jù)技術(shù)與軟件工程方法結(jié)合起來(lái)。并在開(kāi)放的環(huán)境中通過(guò)網(wǎng)絡(luò)與通信技術(shù)實(shí)現(xiàn)數(shù)據(jù)的共享，在此過(guò)程中，軟件技術(shù)和水平亦能得到進(jìn)一步的提高。在二者相互作用滲透的過(guò)程，軟件效率得到提高，軟件效益得以提升，從而實(shí)現(xiàn)客戶需求的最大化。在軟件開(kāi)發(fā)過(guò)程中，還需要有必備的硬件和軟件的支撐，來(lái)支持相應(yīng)的數(shù)據(jù)流，隨著數(shù)據(jù)流的增長(zhǎng)，對(duì)于硬件和軟件就會(huì)有更高的要求。工程技術(shù)人員在對(duì)數(shù)據(jù)流進(jìn)行分析研究的同時(shí)，專家學(xué)者還會(huì)對(duì)在線服務(wù)進(jìn)行研究。但是，數(shù)據(jù)流是重點(diǎn)，包括對(duì)數(shù)據(jù)流的使用方法的研究，對(duì)支撐數(shù)據(jù)流的軟件和硬件的研究。另外，從軟件工程開(kāi)發(fā)角度看，無(wú)論是在服務(wù)端還是在用戶端，軟件的運(yùn)行當(dāng)然會(huì)產(chǎn)生大量的數(shù)據(jù)流，都將產(chǎn)生大量的數(shù)據(jù)信息，這些數(shù)據(jù)流對(duì)于軟硬件的使用壽命有著決定性的影響。因此，在軟件工程的開(kāi)發(fā)中，對(duì)于海量數(shù)據(jù)產(chǎn)生的環(huán)境下，更有必要做好數(shù)據(jù)流的管理，要高度重視數(shù)據(jù)流的分析研究，并且對(duì)于原始數(shù)據(jù)進(jìn)行深入的研究也應(yīng)該引起重視，以期延長(zhǎng)軟件的使用周期。[6]

3大數(shù)據(jù)時(shí)代的軟件服務(wù)工程

軟件服務(wù)工程即所謂的面向服務(wù)的軟件工程，強(qiáng)調(diào)的是其相對(duì)于傳統(tǒng)軟件工程的擴(kuò)展。近些年來(lái)得到了很快的發(fā)展，已經(jīng)成為當(dāng)今時(shí)代的主流社會(huì)需求之一，服務(wù)功能已經(jīng)是軟件開(kāi)發(fā)的基本原則。另一方面，也可以將其直觀理解為“軟件（Software）+服務(wù)（Service）+工程（Engineering）”三個(gè)方面的交叉融合，或者軟件工程與服務(wù)工程兩者的融合等。其內(nèi)涵可以理解為研究面向服務(wù)的軟件工程原則、軟件工程方法以及軟件工程技術(shù)，同時(shí)利用相應(yīng)的軟件服務(wù)設(shè)施和平臺(tái)，開(kāi)發(fā)較高水平的軟件服務(wù)系統(tǒng)。[7]軟件開(kāi)發(fā)者根據(jù)需求變化，在社會(huì)實(shí)際實(shí)用中，以面向服務(wù)作為主要建設(shè)目標(biāo)。在開(kāi)發(fā)的初期就要首先搭建好軟件的框架，充分利用編程語(yǔ)言、構(gòu)思好編程思路，確保開(kāi)發(fā)軟件能夠提供可靠的服務(wù)應(yīng)用，保障軟件運(yùn)行時(shí)的穩(wěn)定與可靠。在實(shí)際的服務(wù)過(guò)程中，要求開(kāi)發(fā)者運(yùn)用分布式應(yīng)用程序，以虛擬操作的方式提供用戶相應(yīng)的服務(wù)。在應(yīng)用中，融合大數(shù)據(jù)技術(shù)，能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)進(jìn)行編程，達(dá)到軟件互操作的效果，并提高對(duì)數(shù)據(jù)的主動(dòng)協(xié)調(diào)。軟件工程開(kāi)發(fā)工程師可以對(duì)數(shù)據(jù)信息共享，實(shí)現(xiàn)各種學(xué)習(xí)交流，對(duì)軟件進(jìn)行協(xié)同開(kāi)發(fā)，并結(jié)合用戶的反饋，對(duì)軟件系統(tǒng)進(jìn)行優(yōu)化處理，提高軟件的性價(jià)比。近年來(lái)，開(kāi)源軟件是較為成功的軟件習(xí)作模式，但是，其采用常規(guī)的研究方法，應(yīng)用價(jià)值還不是很高。與開(kāi)源軟件相比，群體軟件工程屬于一種分布式軟件開(kāi)發(fā)模型，能夠依靠網(wǎng)絡(luò)進(jìn)行任務(wù)分配，并能實(shí)現(xiàn)創(chuàng)造性的查詢，通過(guò)眾包形式的開(kāi)發(fā)，解決開(kāi)發(fā)過(guò)程中的難題。并且，在整個(gè)開(kāi)發(fā)過(guò)程中，眾包開(kāi)發(fā)可以貫穿其全過(guò)程。所謂眾包，一如其字面含義，是一種分布式的生產(chǎn)開(kāi)發(fā)模式和問(wèn)題解決方案。通過(guò)該種方式，開(kāi)源軟件和商業(yè)軟件均可通過(guò)網(wǎng)絡(luò)進(jìn)行任務(wù)和責(zé)任分配。[8]隨著我國(guó)計(jì)算機(jī)科學(xué)技術(shù)的不斷發(fā)展進(jìn)步，軟件工程技術(shù)也取得了長(zhǎng)足發(fā)展，軟件服務(wù)工程也支持得到拓展和延伸。在大數(shù)據(jù)時(shí)代背景下，我們應(yīng)當(dāng)加快大數(shù)據(jù)技術(shù)和軟件工程技術(shù)的融合與創(chuàng)新，提升對(duì)海量網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行編程處理的能力，提高軟件的安全和效能，增強(qiáng)其穩(wěn)定性和可操作性，進(jìn)一步整合軟件工程系統(tǒng)的集成度。

4數(shù)據(jù)密集型科研第四范式

篇（2）

1大數(shù)據(jù)技術(shù)和軟件工程技術(shù)

大數(shù)據(jù)技術(shù)事實(shí)上是將人類(lèi)日常生活中產(chǎn)生的各種數(shù)字信息，將這些信息收集起來(lái)之后分類(lèi)處理，設(shè)定不同類(lèi)別的存儲(chǔ)空間，按照類(lèi)別存儲(chǔ)。大數(shù)據(jù)技術(shù)從功能的角度出發(fā)可以劃分為多個(gè)類(lèi)別，諸如分析技術(shù)、機(jī)器學(xué)習(xí)技術(shù)、遺傳算法技術(shù)、自然語(yǔ)音處理技術(shù)等。應(yīng)用大數(shù)據(jù)技術(shù)分析，就是基于當(dāng)前的科學(xué)技術(shù)發(fā)展起來(lái)的一種分析技術(shù)。它主要依靠現(xiàn)代科技手段發(fā)揮技術(shù)的作用，特別網(wǎng)絡(luò)技術(shù)發(fā)揮著基礎(chǔ)性的作用。整理基礎(chǔ)數(shù)據(jù)，對(duì)數(shù)據(jù)信息進(jìn)行分類(lèi)整理，應(yīng)用相應(yīng)的計(jì)算機(jī)算法，將相似特性的數(shù)據(jù)劃分為一類(lèi)，最終得到大量的數(shù)據(jù)，應(yīng)用大數(shù)據(jù)技術(shù)對(duì)這些數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)分析應(yīng)用于互聯(lián)網(wǎng)行業(yè)中，所發(fā)揮的優(yōu)勢(shì)是有目共睹的，而且還不斷地引入新技術(shù)，在軟件工程技術(shù)中應(yīng)用，對(duì)該技術(shù)的發(fā)展起到了促進(jìn)作用[1]。大數(shù)據(jù)時(shí)代，社會(huì)各個(gè)領(lǐng)域都已經(jīng)實(shí)現(xiàn)了信息化發(fā)展，人們對(duì)軟件工程的概念越來(lái)越熟悉。事實(shí)上，軟件工程的歷史始于20世紀(jì)的中期，其研究重點(diǎn)是軟件技術(shù)和工程管理。將相關(guān)工程內(nèi)容引入其中，使得工程系統(tǒng)化運(yùn)行，其中所涵蓋的研究?jī)?nèi)容包括軟件的生命周期、軟件工程設(shè)計(jì)、軟件的技術(shù)維護(hù)等方面。因此，在軟件設(shè)計(jì)的過(guò)程中，要控制好技術(shù)開(kāi)發(fā)成本，保證工程質(zhì)量，使其生命周期不斷延長(zhǎng)，不同項(xiàng)目的技術(shù)需求和用戶的各種技術(shù)需求都能夠得到滿足。

2大數(shù)據(jù)背景下的軟件工程基礎(chǔ)

處于大數(shù)據(jù)時(shí)代環(huán)境中，軟件工程的發(fā)展中關(guān)乎到不同的領(lǐng)域，需要高度重視。大數(shù)據(jù)技術(shù)具有專業(yè)性的特點(diǎn)，還具有很強(qiáng)的實(shí)用性價(jià)值。在軟件工程技術(shù)的研究中，要從應(yīng)用需求出發(fā)不斷創(chuàng)新軟件技術(shù)，對(duì)于傳統(tǒng)的技術(shù)要不斷摒棄，對(duì)軟件工程的發(fā)展創(chuàng)造良好的客觀條件。大數(shù)據(jù)技術(shù)環(huán)境下，軟件工程基礎(chǔ)是基于互聯(lián)網(wǎng)技術(shù)建立起來(lái)的，對(duì)各種數(shù)據(jù)信息系統(tǒng)化管理，根據(jù)需要進(jìn)行處理，對(duì)工業(yè)的發(fā)展非常有利[2]。在軟件工程技術(shù)中，大數(shù)據(jù)的安全性問(wèn)題是需要高度重視的，否則，就會(huì)對(duì)軟件工程技術(shù)造成不良影響，引起嚴(yán)重的后果。

2．1軟件服務(wù)工程

在軟件工程的研究范疇中，軟件服務(wù)工程的數(shù)量不斷增多。軟件工程服務(wù)化方向發(fā)展，就是發(fā)揮服務(wù)的作用，使其成為軟件開(kāi)發(fā)的基本原則，按照服務(wù)項(xiàng)目?jī)?nèi)容為用戶展開(kāi)服務(wù)。由于軟件工程發(fā)展的主題有所，服務(wù)內(nèi)容也要做出相應(yīng)的調(diào)整，同城是對(duì)軟件工程的進(jìn)行技術(shù)維護(hù)。在具體的服務(wù)工作中，需要軟件開(kāi)發(fā)人員使用分布式應(yīng)用程序，在管理工作中采用虛擬操作的方法為用戶2019.08提供服務(wù)[3]。軟件工程技術(shù)應(yīng)用中，結(jié)合使用大數(shù)據(jù)技術(shù)，可以對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行編程，使得軟件具有互操作性，對(duì)于數(shù)據(jù)主動(dòng)協(xié)調(diào)，使其符合動(dòng)態(tài)場(chǎng)景的變化節(jié)奏，軟件系統(tǒng)的集成度有所提高。

2．2軟件開(kāi)源

軟件開(kāi)源更為注重用戶對(duì)軟件技術(shù)的體驗(yàn)。在對(duì)軟件開(kāi)源進(jìn)行研究的過(guò)程中，采用常規(guī)的方法，雖然獲得一定的成果，但是應(yīng)用價(jià)值不是很高。一些研究人員在研究軟件工程技術(shù)的時(shí)候，就是將軟件開(kāi)源作為突破口，將開(kāi)發(fā)項(xiàng)目劃分為多個(gè)模塊，將每個(gè)模塊分給指定的研究人員進(jìn)行開(kāi)發(fā)。

2．3群體軟件工程

群體軟件工程是通過(guò)網(wǎng)絡(luò)的方式進(jìn)行軟件開(kāi)發(fā)，具體的實(shí)施中采用工程眾包的形式，使得軟件開(kāi)發(fā)技術(shù)發(fā)揮作用。群體軟件工程是一個(gè)分布式軟件開(kāi)發(fā)模型，這個(gè)工程項(xiàng)目的運(yùn)行中，可以通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)，對(duì)各項(xiàng)任務(wù)進(jìn)行分配，也可以進(jìn)行創(chuàng)造性的查詢，通過(guò)眾包解決軟件開(kāi)發(fā)過(guò)程中遇到的一些困難和重要問(wèn)題。同時(shí)，在軟件工程開(kāi)發(fā)過(guò)程中，軟件工程可以在任何階段通過(guò)眾包進(jìn)行開(kāi)發(fā)[4]。

3大數(shù)據(jù)與軟件工程技術(shù)的未來(lái)發(fā)展方向

3．1大數(shù)據(jù)與軟件工程技術(shù)開(kāi)放式的發(fā)展

大數(shù)據(jù)技術(shù)的主要前提是大量的數(shù)據(jù)流，需要技術(shù)不斷地升級(jí)和創(chuàng)新，尋求開(kāi)發(fā)的研究途徑是非常必要的。計(jì)算機(jī)網(wǎng)絡(luò)的發(fā)展意味著計(jì)算機(jī)可以在開(kāi)放的環(huán)境中相互通信，共享數(shù)據(jù)資源，軟件等信息的有效利用能力也會(huì)有所提升。通過(guò)網(wǎng)絡(luò)運(yùn)行可以增加利潤(rùn)，使得用戶的各種需求得到滿足，提高資源的利用率。

3．2大數(shù)據(jù)與軟件工程技術(shù)融合到其他領(lǐng)域

軟件工程技術(shù)在當(dāng)今許多科學(xué)領(lǐng)域有著廣泛的應(yīng)用。由于軟件工程技術(shù)給予各個(gè)領(lǐng)域非常大的幫助，從航空到生活中都發(fā)揮著軟件工程技術(shù)的作用[5]。應(yīng)用程序的運(yùn)行，可以使用數(shù)據(jù)平臺(tái)對(duì)信息進(jìn)行收集并分析。比如，用戶在進(jìn)行股票交易的過(guò)程中應(yīng)用大數(shù)據(jù)技術(shù)，可以使用軟件工程技術(shù)構(gòu)建數(shù)據(jù)模型，通過(guò)對(duì)數(shù)據(jù)模型的分析，預(yù)測(cè)股票的變化趨勢(shì)。

4眾包軟件服務(wù)工程中的大數(shù)據(jù)技術(shù)

在軟件開(kāi)發(fā)過(guò)程中，必須有足夠的硬件和軟件基礎(chǔ)來(lái)支持?jǐn)?shù)據(jù)流，隨著數(shù)據(jù)流的量逐漸增多，對(duì)硬件和軟件就有了新的要求。專家學(xué)者在分析數(shù)據(jù)流的時(shí)候，還對(duì)在線服務(wù)進(jìn)行了研究。數(shù)據(jù)流是重點(diǎn)內(nèi)容，主要是對(duì)數(shù)據(jù)流的使用方法進(jìn)行研究，對(duì)支撐數(shù)據(jù)流的軟件和硬件進(jìn)行研究[6]。從軟件工程開(kāi)發(fā)的角度而言，軟件運(yùn)行中都會(huì)產(chǎn)生大量的數(shù)據(jù)流，包括服務(wù)端、用戶端等，都會(huì)有很多的數(shù)據(jù)信息產(chǎn)生，這些數(shù)據(jù)流對(duì)軟件和硬件的使用壽命起到了決定性的作用。軟件工程的開(kāi)發(fā)中，要做好數(shù)據(jù)流的管理工作。有必要對(duì)原始數(shù)據(jù)進(jìn)行深入的研究，為提高軟件的使用壽命創(chuàng)造條件，對(duì)數(shù)據(jù)流的分析要高度重視[7]。

5密集型數(shù)據(jù)科研第四范式

第四種科學(xué)研究范式是指根據(jù)實(shí)際情況建立獨(dú)立的科學(xué)研究方法，探索第四種范式的理論基礎(chǔ)，以及大型數(shù)據(jù)存儲(chǔ)設(shè)備在發(fā)展中的重要性。軟件工程中，采用傳統(tǒng)的大數(shù)據(jù)研究方法，大數(shù)據(jù)的有效分析是不可能的，大數(shù)據(jù)的研究還沒(méi)有取得突破性的成果。因此，目前大多數(shù)軟件不能在短時(shí)間內(nèi)同時(shí)實(shí)現(xiàn)數(shù)據(jù)信息的存儲(chǔ)、數(shù)據(jù)信息的傳輸和有效識(shí)別。在探索第四范式理論和研究方法的過(guò)程中，首先需要對(duì)集成大數(shù)據(jù)的軟件服務(wù)價(jià)值進(jìn)行估計(jì)，拋棄傳統(tǒng)的大數(shù)據(jù)統(tǒng)計(jì)方法，建立新的大數(shù)據(jù)信息統(tǒng)計(jì)方法和分析方法[8]。此外，有必要從多個(gè)方面研究大數(shù)據(jù)的處理，對(duì)大數(shù)據(jù)信息進(jìn)行管理并深入分析，討論大數(shù)據(jù)的價(jià)值以及存在的可變性，這對(duì)軟件工程的發(fā)展起著重要的作用。在研究軟件工程技術(shù)的時(shí)候，必須更新傳統(tǒng)的軟件開(kāi)發(fā)理念，重視軟件處理和分析大數(shù)據(jù)能力的發(fā)展，使得軟件產(chǎn)業(yè)呈現(xiàn)出新的發(fā)展面貌。

6結(jié)語(yǔ)

篇（3）

二、大數(shù)據(jù)對(duì)高等教育的重要性

1.大數(shù)據(jù)便于分析學(xué)習(xí)行為

在教育活動(dòng)中，教育數(shù)據(jù)是對(duì)教育成效、創(chuàng)新思維、創(chuàng)新能力、科研活動(dòng)、學(xué)習(xí)主動(dòng)性、學(xué)習(xí)積極性和教學(xué)活動(dòng)進(jìn)行分析的重要依據(jù)，它為教育教學(xué)和科研活動(dòng)提供重要的科學(xué)依據(jù)和可行性論證的材料。教育數(shù)據(jù)可以通過(guò)面授的方法即面對(duì)面的教育互動(dòng)獲取，如一問(wèn)一答、講座交流、分組討論、課題合作、興趣小組等，教育數(shù)據(jù)也可以通過(guò)網(wǎng)絡(luò)課程平臺(tái)或慕課等多媒體課程獲取，以這種方式獲取的數(shù)據(jù)樣本大、效率高、存儲(chǔ)方便。教育大數(shù)據(jù)可以呈現(xiàn)學(xué)生學(xué)習(xí)的即時(shí)效果以及學(xué)生參與課堂教學(xué)和科研活動(dòng)的情況，這是智慧教育的客觀分析的依據(jù)和比較研究的素材。教育大數(shù)據(jù)以其便利性和可操作性為學(xué)生學(xué)習(xí)行為的研究和分析提供了便利條件。首先，教育大數(shù)據(jù)便于對(duì)學(xué)生學(xué)習(xí)行為進(jìn)行分析。教育大數(shù)據(jù)便于留存，方便調(diào)閱，有助于評(píng)價(jià)和分析學(xué)生的學(xué)習(xí)行為，進(jìn)而有針對(duì)性地解決問(wèn)題。其次，教育大數(shù)據(jù)便于教師從全局把控學(xué)生的學(xué)習(xí)情況。利用數(shù)據(jù)的關(guān)聯(lián)性和演繹規(guī)律，可以從中獲取課堂上學(xué)生互動(dòng)、課堂接受程度和專注度等教學(xué)反饋信息，有利于挖掘個(gè)體學(xué)生的學(xué)習(xí)特點(diǎn)，推進(jìn)個(gè)性化教學(xué)，或從整體上評(píng)估學(xué)習(xí)行為，對(duì)學(xué)生進(jìn)行科學(xué)指導(dǎo)。最后，便于教育管理者更好地組織教育資源。教育管理者可以從教育大數(shù)據(jù)中挖掘有價(jià)值的信息，制定教育改革的方向和措施，并采取和風(fēng)細(xì)雨、滋潤(rùn)心田的管理方式。

2.大數(shù)據(jù)促進(jìn)教育科學(xué)化發(fā)展

首先，大數(shù)據(jù)提供智能學(xué)習(xí)平臺(tái)。將眾多的高校信息收集起來(lái)，資源共享，信息互通，讓世界高校變成地球村，這給教育智能化發(fā)展創(chuàng)造了極好的條件。芝加哥大學(xué)等多所世界名校達(dá)成共識(shí)，聯(lián)合建設(shè)在線教育公共課程，通過(guò)網(wǎng)絡(luò)平臺(tái)免費(fèi)開(kāi)放課程，供全球幾十萬(wàn)人同時(shí)收聽(tīng)或觀看同一知名教授的課程，共享學(xué)術(shù)精髓。這是教育資源的高效利用，也是高教發(fā)展的必然。同時(shí)，還可以在網(wǎng)絡(luò)平臺(tái)上通過(guò)MOOC等多種形式進(jìn)行學(xué)術(shù)討論和交流。智能化學(xué)習(xí)平臺(tái)讓學(xué)習(xí)和交流變得更便捷。其次，大數(shù)據(jù)構(gòu)建全新教學(xué)模式。大數(shù)據(jù)的應(yīng)用給高等教育帶來(lái)了革命性變革，面對(duì)面的課堂講授形式面臨建立在教育大數(shù)據(jù)基礎(chǔ)上的在線、視頻、多維度、全視角的立體化教育模式的挑戰(zhàn)。教育大數(shù)據(jù)時(shí)代的教學(xué)模式，其知識(shí)傳授途徑已從課堂走向網(wǎng)絡(luò)，從線下走到線上;其知識(shí)傳授不受時(shí)空限制，可以隨時(shí)隨地上網(wǎng)學(xué)習(xí)在線課程，接受世界名師的網(wǎng)絡(luò)課程教育;其教學(xué)方式也更靈活。通過(guò)觀察或記錄鼠標(biāo)對(duì)某一知識(shí)點(diǎn)的點(diǎn)擊量、在一張幻燈片上停留的時(shí)間的長(zhǎng)短、回答問(wèn)題后有針對(duì)性的關(guān)注的有無(wú)等情況，可以判斷不同的人對(duì)不同知識(shí)點(diǎn)的關(guān)注和接受程度，從而使得視情況而定的詳解或弱講，或個(gè)性化、差異化教學(xué)得以實(shí)現(xiàn)。教育大數(shù)據(jù)時(shí)代的教學(xué)模式還有效地延伸了教學(xué)資源和師資。在線上接受世界名師授課，這是高等教育全方位、全時(shí)空的重大突破。最后，大數(shù)據(jù)促進(jìn)教育科技創(chuàng)新。高等教育大數(shù)據(jù)通過(guò)提供科技創(chuàng)新所需要的信息資源、科研知識(shí)和科技問(wèn)題交流的平臺(tái)以及科技信息的實(shí)時(shí)交流，促進(jìn)了產(chǎn)學(xué)研協(xié)同創(chuàng)新，促進(jìn)了成果的轉(zhuǎn)化和創(chuàng)新。高等教育大數(shù)據(jù)之所以能夠發(fā)揮這樣的作用，是因?yàn)樗e聚了科研、教學(xué)、工程信息、管理科學(xué)、音樂(lè)藝術(shù)等海量信息，而且這些集音頻、視頻、文字、圖形于一體的立體化信息是可以即時(shí)查詢或交流的。高等教育大數(shù)據(jù)的雙向性和交互性，對(duì)于提高科研效率、促成科研成果轉(zhuǎn)化有很大幫助，間接地促進(jìn)了高校的進(jìn)一步發(fā)展。

三、高等教育大數(shù)據(jù)的建設(shè)途徑

1.搭建數(shù)據(jù)平臺(tái)，開(kāi)發(fā)大數(shù)據(jù)處理技術(shù)

建立高校大數(shù)據(jù)應(yīng)用平臺(tái)，在整合原有信息系統(tǒng)的基礎(chǔ)上，升級(jí)、建設(shè)數(shù)據(jù)釆集設(shè)備、數(shù)據(jù)傳輸網(wǎng)絡(luò)、數(shù)據(jù)儲(chǔ)存和分析系統(tǒng)，并通過(guò)對(duì)數(shù)據(jù)和應(yīng)用的高度集成將復(fù)雜的大數(shù)據(jù)處理程序交給專業(yè)人員處理，為一線教師減輕負(fù)擔(dān)。高校大數(shù)據(jù)應(yīng)用平臺(tái)擁有強(qiáng)大的數(shù)據(jù)收集和分析能力，可以有效地提高數(shù)據(jù)管理質(zhì)量和效率，促進(jìn)資源共享，為高校管理決策提供支撐，推動(dòng)高校資源配置的優(yōu)化。大數(shù)據(jù)應(yīng)用可以在人才培養(yǎng)、科學(xué)研究、社會(huì)服務(wù)和文化傳承創(chuàng)新等多個(gè)方面全面推動(dòng)高等教育的發(fā)展。

海量數(shù)據(jù)包含了許多冗余和雜質(zhì)，這樣的數(shù)據(jù)不便使用，甚至不能使用。要發(fā)揮大數(shù)據(jù)的功用，提高其價(jià)值密度，就必須開(kāi)發(fā)大數(shù)據(jù)的相關(guān)技術(shù)。首先，開(kāi)發(fā)大數(shù)據(jù)集成技術(shù)。對(duì)數(shù)據(jù)進(jìn)行有效的集成和整合，以剔除無(wú)關(guān)信息而不使有用的信息流失。完成這種除冗降噪過(guò)程的，是大數(shù)據(jù)技術(shù)中的數(shù)據(jù)采集和算法技術(shù)。不同來(lái)源的數(shù)據(jù)存在結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化三種結(jié)構(gòu)形式，數(shù)據(jù)之間的差異給數(shù)據(jù)的集成帶來(lái)了巨大的困難。這需要開(kāi)發(fā)比Hadoop分布式處理軟件更先進(jìn)的系統(tǒng)進(jìn)行集成。其次，改進(jìn)大數(shù)據(jù)存儲(chǔ)技術(shù)。存儲(chǔ)設(shè)備容量不可能跟上數(shù)據(jù)規(guī)模的擴(kuò)張，而大數(shù)據(jù)存儲(chǔ)技術(shù)又與數(shù)據(jù)成本、計(jì)算和分析速度直接相關(guān)，這就要求開(kāi)發(fā)一種既能夠存貯多元異構(gòu)數(shù)據(jù)又滿足數(shù)據(jù)格式統(tǒng)一、標(biāo)準(zhǔn)統(tǒng)一要求的存儲(chǔ)技術(shù)。再次，開(kāi)發(fā)高效的實(shí)時(shí)分析技術(shù)。傳統(tǒng)的分析技術(shù)可以對(duì)大數(shù)據(jù)中結(jié)構(gòu)化靜態(tài)數(shù)據(jù)進(jìn)行分析，但數(shù)據(jù)的一致性、可用性和容錯(cuò)性不可兼得。大數(shù)據(jù)的可擴(kuò)展性和可用性不能得到滿足，影響它的使用。只有開(kāi)發(fā)一種橫向擴(kuò)展能力強(qiáng)、能大規(guī)模處理非結(jié)構(gòu)性數(shù)據(jù)的分析技術(shù)，才能滿足高效地進(jìn)行動(dòng)態(tài)分析的要求。最后，開(kāi)發(fā)可移植處理模型。目前的大數(shù)據(jù)處理框架大多是針對(duì)各行業(yè)、各領(lǐng)域的情況開(kāi)發(fā)的，不具有廣適性和可移植性，限制了大數(shù)據(jù)的應(yīng)用。在高等教育領(lǐng)域，大數(shù)據(jù)專業(yè)人員應(yīng)同各領(lǐng)域?qū)＜液献?，開(kāi)發(fā)可移植處理模型。

篇（4）

中圖分類(lèi)號(hào)：TP393 文章編號(hào)：1009-2374（2016）34-0093-02 DOI：10.13535/ki.11-4406/n.2016.34.046

1 概述

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)上產(chǎn)生海量大規(guī)模的數(shù)據(jù)，這些海量數(shù)據(jù)在金融、農(nóng)業(yè)、醫(yī)療、商業(yè)等領(lǐng)域都有極其重要的應(yīng)用。因此，通過(guò)對(duì)大數(shù)據(jù)研究從互聯(lián)網(wǎng)的海量數(shù)據(jù)中挖掘出有價(jià)值的信息資源。雖然大數(shù)據(jù)有極其重要的研究?jī)r(jià)值，但是海量數(shù)據(jù)處理給軟件設(shè)計(jì)帶來(lái)了巨大挑戰(zhàn)。大數(shù)據(jù)時(shí)代的到來(lái)，使傳統(tǒng)的軟件工程面臨新的機(jī)遇與挑戰(zhàn)。眾所周知，傳統(tǒng)的軟件生產(chǎn)模式一般以正向工程開(kāi)始，然后進(jìn)行軟件維護(hù)、逆向工程與再工程等，而大數(shù)據(jù)時(shí)代的軟件生產(chǎn)模式則以逆向工程開(kāi)始。由于軟件資源的大量積累以及大規(guī)模軟件重用技術(shù)的發(fā)展與應(yīng)用，軟件數(shù)據(jù)挖掘與軟件集約化生產(chǎn)會(huì)變得越來(lái)越重要，傳統(tǒng)意義下一切從頭開(kāi)始的軟件項(xiàng)目會(huì)變得越來(lái)越少。

互聯(lián)網(wǎng)的數(shù)據(jù)正以指數(shù)級(jí)速度增長(zhǎng)，2010年，全球產(chǎn)生的數(shù)據(jù)超過(guò)1ZB；截至2015年，平均每年產(chǎn)生9ZB的數(shù)據(jù)；數(shù)據(jù)的產(chǎn)生主要來(lái)源于傳感器、移動(dòng)終端和電腦終端；所有這些數(shù)據(jù)在涉及人類(lèi)基因組學(xué)、醫(yī)療保健、石油和天然氣、搜索、監(jiān)控、金融等諸多領(lǐng)域提供了大量潛在的研究?jī)r(jià)值。IDC認(rèn)為能夠使用大數(shù)據(jù)解決方案將蓬勃發(fā)展實(shí)時(shí)業(yè)務(wù)決策，而那些無(wú)法接受和利用這種轉(zhuǎn)變的，在市場(chǎng)競(jìng)爭(zhēng)中處于劣勢(shì)，且將越來(lái)越多地發(fā)現(xiàn)自己面對(duì)潛在的故障組織。大數(shù)據(jù)技術(shù)描述新一代的技術(shù)和架構(gòu)，通過(guò)對(duì)大數(shù)據(jù)進(jìn)行科學(xué)組織、分析其中的數(shù)據(jù)價(jià)值。

大數(shù)據(jù)是涉及數(shù)據(jù)存儲(chǔ)、可變復(fù)雜的大型數(shù)據(jù)及數(shù)據(jù)的進(jìn)一步可視化處理過(guò)程；大數(shù)據(jù)架構(gòu)需要具備同時(shí)處理數(shù)據(jù)存儲(chǔ)要求和分析海量數(shù)據(jù)的大型服務(wù)器的處理能力。其中挖掘潛在模式和隱秘關(guān)系的過(guò)程稱之為大數(shù)據(jù)分析。挖掘的潛在信息對(duì)公司來(lái)說(shuō)能夠幫助獲得更豐富、更深刻的見(jiàn)解，并能夠幫助公司在競(jìng)爭(zhēng)中占有絕對(duì)的優(yōu)勢(shì)。這也是大數(shù)據(jù)的價(jià)值所在，更加精確地執(zhí)行和分析數(shù)據(jù)中的潛在價(jià)值。本文將討論大數(shù)據(jù)時(shí)代軟件生產(chǎn)模式的變化、特征及其發(fā)展趨勢(shì)。除新的概念外，還將重點(diǎn)介紹一些軟件管理方法以及工業(yè)實(shí)踐經(jīng)驗(yàn)。我們正處于一個(gè)軟件工業(yè)大變革的前夜。隨著軟件資源的大量積累與有效利用，軟件生產(chǎn)的集約化與自動(dòng)化程度都將迅速提高，軟件生產(chǎn)質(zhì)量與效率的大幅度改進(jìn)將成為可能。

2 軟件服務(wù)產(chǎn)生的大數(shù)據(jù)

互聯(lián)網(wǎng)應(yīng)用在各行業(yè)的廣泛推廣和使用，使得互聯(lián)網(wǎng)應(yīng)用服務(wù)產(chǎn)生海量的數(shù)據(jù)，主要包括流式密集數(shù)據(jù)和歷史密集數(shù)據(jù)。比如，國(guó)內(nèi)最大的電子商務(wù)阿里巴巴數(shù)據(jù)中心目前已經(jīng)積累超過(guò)100PB的數(shù)據(jù)；中國(guó)移動(dòng)通信公司目前建立包含辦公自動(dòng)化、企業(yè)標(biāo)準(zhǔn)化等超過(guò)1萬(wàn)業(yè)務(wù)流程。傳統(tǒng)的軟件工程中程序設(shè)計(jì)思想是“程序=數(shù)據(jù)結(jié)構(gòu)+算法”，主要考慮程序的效率和正確性，忽視了程序中產(chǎn)生的數(shù)據(jù)，這將大大縮短程序的生命周期。在軟件理論漫長(zhǎng)的發(fā)展過(guò)程中，眾多學(xué)者一致認(rèn)為軟件就是健壯的程序和詳細(xì)的文檔，其中核心部分就是完備的文檔，包括需求文檔、工程數(shù)據(jù)、通用規(guī)范等，整個(gè)軟件設(shè)計(jì)過(guò)程更加關(guān)注文檔質(zhì)量和標(biāo)準(zhǔn)化開(kāi)發(fā)模式。因此，在這一共同協(xié)議下，促使軟件設(shè)計(jì)更加規(guī)范和標(biāo)志，進(jìn)而從整體上提升軟件質(zhì)量。

隨著系統(tǒng)業(yè)務(wù)的擴(kuò)容和用戶的使用，要求軟件能夠處理大規(guī)模數(shù)據(jù)的能力。許多大型互聯(lián)網(wǎng)企業(yè)越來(lái)越重視軟件服務(wù)中流式數(shù)據(jù)和密集型數(shù)據(jù)，數(shù)據(jù)主要來(lái)源于用戶體驗(yàn)。如圖1所示，行業(yè)對(duì)數(shù)據(jù)的處理要求越來(lái)精細(xì)，技術(shù)很具有挑戰(zhàn)性，其中如何將大數(shù)據(jù)基礎(chǔ)設(shè)施作為服務(wù)、大數(shù)據(jù)平臺(tái)作為服務(wù)、數(shù)據(jù)價(jià)值作為服務(wù)以及大數(shù)據(jù)分析作為服務(wù)，已經(jīng)是大數(shù)據(jù)環(huán)境軟件工程的研究主要難題。

從軟件發(fā)展創(chuàng)新模式來(lái)分析，服務(wù)消費(fèi)者、服務(wù)提供方及PaaS平臺(tái)三方產(chǎn)生海量線上流式數(shù)據(jù)和離線密集型數(shù)據(jù)。比如，TB級(jí)的用戶交流數(shù)據(jù)和PB級(jí)的用戶行為操作數(shù)據(jù)、TB級(jí)的系統(tǒng)日志數(shù)據(jù)等，這些海量數(shù)據(jù)對(duì)軟件開(kāi)發(fā)、維護(hù)、管理有著至關(guān)重要的作用，同時(shí)這些數(shù)據(jù)對(duì)軟件服務(wù)周期也有決定性的作用。本實(shí)質(zhì)上來(lái)說(shuō)，這些數(shù)據(jù)只是在規(guī)模和量上來(lái)衡量，對(duì)其的研究缺乏標(biāo)識(shí)，尤其缺少語(yǔ)義化的處理。因此，對(duì)如此海量數(shù)據(jù)的處理，需要從不同的研究方式和創(chuàng)新思維對(duì)數(shù)據(jù)進(jìn)行組織和處理，形成面向領(lǐng)域內(nèi)的智能知識(shí)主體。以知識(shí)為中心，數(shù)據(jù)為驅(qū)動(dòng)，提供一系列數(shù)據(jù)服務(wù)平臺(tái)，從而體現(xiàn)出現(xiàn)代軟件工程是以大數(shù)據(jù)為中心開(kāi)展的。

3 大數(shù)據(jù)時(shí)代軟件工程管理模式

根據(jù)大數(shù)據(jù)時(shí)代背景下，軟件工程的發(fā)展從經(jīng)典的CS模式發(fā)展到BS模式以及現(xiàn)在的以面向服務(wù)的軟件工程，簡(jiǎn)稱為軟件服務(wù)工程。該設(shè)計(jì)模式中以服務(wù)為基礎(chǔ)的單位，能夠快速構(gòu)建應(yīng)用和共享服務(wù)，能夠按需分配，同時(shí)也能很好地適應(yīng)分布式程序開(kāi)發(fā)。這種模式特點(diǎn)是將資源虛擬化、應(yīng)用服務(wù)化，向外提供統(tǒng)一服務(wù)接口，能夠很好地解決大數(shù)據(jù)環(huán)境下動(dòng)態(tài)、分布變化的情況和異構(gòu)系統(tǒng)數(shù)據(jù)以及系統(tǒng)整合問(wèn)題。這種面向服務(wù)的軟件設(shè)計(jì)模式在大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)等新興領(lǐng)域得到廣泛的使用。

項(xiàng)目管理是在一定的費(fèi)用、品質(zhì)及進(jìn)度約束下，為達(dá)到客戶和其他利益相關(guān)者的需求、目的和目標(biāo)所要進(jìn)行的大量活動(dòng)的規(guī)劃、監(jiān)督和指導(dǎo)。項(xiàng)目管理有兩個(gè)重要的研究領(lǐng)域：系統(tǒng)工程與項(xiàng)目控制。從圖1中看出，兩個(gè)領(lǐng)域有重疊部分，系統(tǒng)工程為重疊部分提供技術(shù)層面的輸入，項(xiàng)目控制主要提供規(guī)劃、費(fèi)用及進(jìn)度方面的輸入。工程的管理主要是通過(guò)文檔來(lái)體現(xiàn)的，其中主要包括系統(tǒng)文檔樹(shù)和系統(tǒng)工程管理計(jì)劃（SEMP）。

系統(tǒng)文檔樹(shù)就是以一種樹(shù)形結(jié)構(gòu)化形式描述項(xiàng)目所需的，面向系統(tǒng)工程的一系列文檔以及在自定向下的結(jié)構(gòu)化形式中各個(gè)系統(tǒng)工程文件之間的相互關(guān)系。系統(tǒng)文檔樹(shù)是由系統(tǒng)工程師在提案階段基于工作說(shuō)明書(shū)（SOW）和合同數(shù)據(jù)需求清單（CDRL）準(zhǔn)備，以便后續(xù)的成本和進(jìn)度確定所需的文本化的任務(wù)。系統(tǒng)文檔樹(shù)由項(xiàng)目經(jīng)理批準(zhǔn)并在項(xiàng)目生命周期內(nèi)維護(hù)更新。系統(tǒng)工程管理計(jì)劃（SEMP）是描述項(xiàng)目在系統(tǒng)工程方面的任務(wù)與進(jìn)度需求以及這些系統(tǒng)工程任務(wù)如何被管理與實(shí)現(xiàn)的文檔。項(xiàng)目管理計(jì)劃（SEMP）是由系統(tǒng)工程師基于工作說(shuō)明書(shū)（SOW）和合同數(shù)據(jù)需求清單（CDRL）在提案過(guò)程中描述系統(tǒng)工程過(guò)程以及系統(tǒng)工程需求如何被計(jì)劃、組織、集成、監(jiān)測(cè)、控制和測(cè)量。SEMP應(yīng)該由項(xiàng)目經(jīng)理批準(zhǔn)并在項(xiàng)目生命周期內(nèi)維護(hù)更新。系統(tǒng)工程管理計(jì)劃基于SOW及合同數(shù)據(jù)編制，包括三類(lèi)關(guān)鍵要素：開(kāi)發(fā)項(xiàng)目規(guī)劃與控制、系統(tǒng)工程過(guò)程以及工程專業(yè)集成。

第一，開(kāi)發(fā)項(xiàng)目規(guī)劃與控制。開(kāi)發(fā)項(xiàng)目規(guī)劃與控制描述在管理開(kāi)發(fā)項(xiàng)目中必須實(shí)現(xiàn)的系統(tǒng)工程任務(wù)，包括：SOW（工作說(shuō)明書(shū)）；組織；進(jìn)度計(jì)劃；程序、設(shè)計(jì)和測(cè)試準(zhǔn)備評(píng)審；技術(shù)性能測(cè)量；風(fēng)險(xiǎn)管理。

第二，軟件系統(tǒng)工程過(guò)程。系統(tǒng)工程過(guò)程描述用于系統(tǒng)開(kāi)發(fā)的系統(tǒng)工程過(guò)程，包括：運(yùn)行需求；功能分析；系統(tǒng)分析與權(quán)衡策略；系統(tǒng)測(cè)試與評(píng)估策略。

第三，軟件工程專業(yè)集成：工程專業(yè)集成描述多個(gè)專業(yè)工程領(lǐng)域如何被繼承到主系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)中，包括：可靠性工程、可維護(hù)性工程、可用性（RMA）工程；可生產(chǎn)性工程；安全性工程；人因工程。

4 結(jié)語(yǔ)

互聯(lián)網(wǎng)的快速發(fā)展使得軟件的更新迭代更加頻繁，大數(shù)據(jù)時(shí)代的到來(lái)更是對(duì)軟件的性能和安全的重要考驗(yàn)。如何在大數(shù)據(jù)環(huán)境下，構(gòu)建一個(gè)高效、安全、健壯的軟件，除了需要技術(shù)的支持，更多地需要一套科學(xué)工程理論、技術(shù)標(biāo)準(zhǔn)、軟件管理方法的融合。由于軟件資源的大量積累以及大規(guī)模軟件重用技術(shù)的發(fā)展與應(yīng)用，軟件數(shù)據(jù)挖掘與軟件集約化生產(chǎn)會(huì)變得越來(lái)越重要，傳統(tǒng)軟件無(wú)法滿足當(dāng)前的需求，大數(shù)據(jù)環(huán)境下提出一般軟件工程的管理模式對(duì)時(shí)下的軟件工程開(kāi)發(fā)是非常有幫

助的。

參考文獻(xiàn)

[1] 王符偉.大數(shù)據(jù)時(shí)代下軟件工程關(guān)鍵技術(shù)分析[J].電子技術(shù)與軟件工程，2015，（23）.

[2] 朱懷英，展之桂.大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望[J].工業(yè)c，2016，（17）.

[3] 孟雪井，李宏飛，楊亞飛.大數(shù)據(jù)背景下統(tǒng)計(jì)軟件在數(shù)據(jù)分析中的應(yīng)用[J].現(xiàn)代經(jīng)濟(jì)信息，2016，（8）.

[4] 于興文.基于大數(shù)據(jù)的創(chuàng)新型“歸一”軟件設(shè)計(jì)思路[J].科教導(dǎo)刊（旬刊），2015，（11）.

篇（5）

隨著互聯(lián)網(wǎng)運(yùn)用的逐漸廣泛化，社會(huì)中的各個(gè)行業(yè)都具有了自己的數(shù)據(jù)種類(lèi)，這就致使大量的數(shù)據(jù)在互聯(lián)網(wǎng)的服務(wù)中產(chǎn)生。軟件服務(wù)工程會(huì)產(chǎn)生密集型數(shù)據(jù)，其中包括流式密集型的數(shù)據(jù)以及歷史密集型的數(shù)據(jù)。如世界最大的電信數(shù)據(jù)倉(cāng)庫(kù)中心目前已經(jīng)建立超過(guò)1200TB的數(shù)據(jù)；中國(guó)移動(dòng)通信的業(yè)務(wù)流程超過(guò)8190個(gè)，實(shí)現(xiàn)了辦公自動(dòng)化和標(biāo)準(zhǔn)化的業(yè)務(wù)流程。“程序=數(shù)據(jù)結(jié)構(gòu)+算法”的程序設(shè)計(jì)思想為傳統(tǒng)軟件工程的管理思想模式，集程序的運(yùn)行過(guò)程就是數(shù)據(jù)結(jié)構(gòu)的組織與算法的問(wèn)題，這種模式將程序運(yùn)行過(guò)程中的數(shù)據(jù)忽視，而將重點(diǎn)放在了程序的正確性和效率性，在很大程度上把程序的生命周期縮短?？v觀軟件理論的漫長(zhǎng)發(fā)展史，諸多學(xué)者一致認(rèn)為詳細(xì)的文檔和完整的程序構(gòu)成了軟件，其中完善的文檔信息為軟件的核心部分，包括工程數(shù)據(jù)、文檔以及通用規(guī)范等等，把整個(gè)軟件的設(shè)計(jì)重點(diǎn)放在了文檔是否質(zhì)量合格以及開(kāi)發(fā)模式是否具備標(biāo)準(zhǔn)化上面。由此，推動(dòng)了軟件設(shè)計(jì)的標(biāo)準(zhǔn)化，從整體上把軟件的質(zhì)量有效提升[1]。

隨著系統(tǒng)業(yè)務(wù)的擴(kuò)容和用戶的使用，對(duì)軟件進(jìn)行大規(guī)模的數(shù)據(jù)處理提出了更為嚴(yán)格的要求。越來(lái)越多的大型互聯(lián)網(wǎng)企業(yè)更加重視軟件服務(wù)中的歷史密集型數(shù)據(jù)和流式密集型數(shù)據(jù)，將大數(shù)據(jù)分析作為服務(wù)，更加注重從用戶的體驗(yàn)上進(jìn)行數(shù)據(jù)的收集。大數(shù)據(jù)背景下，行業(yè)逐漸加大了數(shù)據(jù)的處理難度，使得處理數(shù)據(jù)更具精細(xì)化，對(duì)技術(shù)的標(biāo)準(zhǔn)要求也更為嚴(yán)格。當(dāng)前大數(shù)據(jù)時(shí)代下軟件工程的研究課題為，如何更好的把大數(shù)據(jù)平臺(tái)作為服務(wù)，把大數(shù)據(jù)的分析作為服務(wù)、把數(shù)據(jù)的價(jià)值作為服務(wù)[2]。要從軟件發(fā)展創(chuàng)新模式來(lái)進(jìn)行海量數(shù)據(jù)的處理，PaaS服務(wù)平臺(tái)、服務(wù)提供方以及服務(wù)消費(fèi)者三方，會(huì)產(chǎn)生海量離線密集型數(shù)據(jù)和線上流式數(shù)據(jù)。各項(xiàng)級(jí)別的用戶在進(jìn)行交流或者進(jìn)行操作以及各項(xiàng)系統(tǒng)日志數(shù)據(jù)等，其通常對(duì)軟件的有效開(kāi)發(fā)、運(yùn)行、管理等各方面都有著重要影響，另外，大數(shù)據(jù)還對(duì)軟件服務(wù)的具體周期具有決定性作用。

從根本上講，只是在規(guī)模和量上來(lái)進(jìn)行數(shù)據(jù)的衡量，對(duì)其的研究沒(méi)有標(biāo)識(shí)，尤其是比較缺乏語(yǔ)義化的處理。因此，要對(duì)研究思維及方法進(jìn)行不斷創(chuàng)新，以此對(duì)相關(guān)數(shù)據(jù)實(shí)施組織與處理，并形成具有領(lǐng)域性的智能主體。通過(guò)對(duì)大數(shù)據(jù)的有效創(chuàng)新，將知識(shí)作為載體，可以提供相應(yīng)的數(shù)據(jù)平臺(tái)，從而確保以大數(shù)據(jù)為中心來(lái)進(jìn)行現(xiàn)代軟件工程管理的創(chuàng)新[3]。

2、大數(shù)據(jù)時(shí)代背景下軟件工程管理模式

軟件工程的發(fā)展經(jīng)歷了三個(gè)階段，經(jīng)典的CS模式-BS模式-軟件服務(wù)工程。其中產(chǎn)生于大數(shù)據(jù)背景下的面向服務(wù)的軟件工程，以服務(wù)為基礎(chǔ)，能夠以較快的速度進(jìn)行應(yīng)用和共享服務(wù)的構(gòu)建，對(duì)于分布式程序的開(kāi)發(fā)具有很好的適應(yīng)性。這種模式的不同之處在于能夠把應(yīng)用服務(wù)化，資源虛擬化，將外界服務(wù)接口統(tǒng)一化，有效解決大數(shù)據(jù)環(huán)境背景下的一系列問(wèn)題。這種軟件服務(wù)工程設(shè)計(jì)模式廣泛應(yīng)用于移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)等新興領(lǐng)域。項(xiàng)目管理是受到進(jìn)度、費(fèi)用以及品質(zhì)的影響，滿足客戶的需求而進(jìn)行的活動(dòng)規(guī)劃、指導(dǎo)和監(jiān)督。其中項(xiàng)目控制與系統(tǒng)工程為項(xiàng)目管理兩個(gè)至關(guān)重要的研究領(lǐng)域，二者有交叉重疊部分，項(xiàng)目控制主要負(fù)責(zé)輸入進(jìn)度、規(guī)劃和費(fèi)用，而系統(tǒng)工程蛀牙負(fù)責(zé)技術(shù)層面的輸入。通過(guò)文檔的形式來(lái)體現(xiàn)工程的管理，其中包括系統(tǒng)工程管理計(jì)劃和系統(tǒng)文檔樹(shù)[4]。

系統(tǒng)文檔樹(shù)通過(guò)樹(shù)形結(jié)構(gòu)來(lái)描述項(xiàng)目所需要的，以系統(tǒng)工程為對(duì)象的各個(gè)系統(tǒng)工程文件之間的相互關(guān)系。在提案階段，由系統(tǒng)工程師根據(jù)合同數(shù)據(jù)需求清單和工作說(shuō)明書(shū)來(lái)進(jìn)行系統(tǒng)文檔樹(shù)的準(zhǔn)備，從而為根據(jù)后續(xù)的進(jìn)度和成本來(lái)進(jìn)行文本化任務(wù)的確定提供便利的條件。由項(xiàng)目經(jīng)理進(jìn)行系統(tǒng)文檔樹(shù)的批準(zhǔn)，并更新維護(hù)項(xiàng)目管理的全生命周期。而系統(tǒng)工程管理計(jì)劃主要用于描述系統(tǒng)工程的進(jìn)度與任務(wù)的，在提案過(guò)程中，由系統(tǒng)工程師根據(jù)合同數(shù)據(jù)需求清單和工作說(shuō)明書(shū)來(lái)進(jìn)行系統(tǒng)工程過(guò)程的描述，以及如何有效計(jì)劃、組織、集成、測(cè)量系統(tǒng)工程需求。項(xiàng)目管理計(jì)劃同樣由項(xiàng)目經(jīng)理進(jìn)行批準(zhǔn)，并更新維護(hù)項(xiàng)目管理的全生命周期。系統(tǒng)工程管理計(jì)劃主要由軟件系統(tǒng)工程過(guò)程、開(kāi)發(fā)項(xiàng)目規(guī)劃與控制，以及軟件工程專業(yè)集成三類(lèi)關(guān)鍵要素構(gòu)成，其中開(kāi)發(fā)項(xiàng)目規(guī)劃與控制為必須要實(shí)現(xiàn)的系統(tǒng)工程任務(wù)[5]。

3、總結(jié)

綜上所述，面臨著互聯(lián)網(wǎng)的進(jìn)一步發(fā)展，其促使軟件的更新速度相應(yīng)加快，大數(shù)據(jù)背景下通常對(duì)軟件的自身安全及性能具有更高的要求。因此，要想打造一個(gè)健壯、高效且安全的軟件工程，不僅僅要加大技術(shù)的支持力度，還需要不斷創(chuàng)新軟件工程管理辦法，形成一套科學(xué)的配套理論以及技術(shù)標(biāo)準(zhǔn)。當(dāng)前規(guī)模較大的軟件重用技術(shù)不斷發(fā)展，并實(shí)現(xiàn)了應(yīng)用，再加上大量積累的軟件資源，未來(lái)軟件的集約化生產(chǎn)以及軟件數(shù)據(jù)的挖掘?qū)?huì)變的至關(guān)重要。傳統(tǒng)化的軟件工程的管理方式已無(wú)法滿足當(dāng)前生活的相關(guān)需要，大數(shù)據(jù)環(huán)境背景下探究新型的軟件工程管理方法具有十分重要的現(xiàn)實(shí)意義。

【軟件工程碩士論文參考文獻(xiàn)】

[1]張宇航.大數(shù)據(jù)系統(tǒng)中的軟件工程管理方法探究[J].中國(guó)高新技術(shù)企業(yè)，2016，(23):93-94.

[2]楊淼.面向商業(yè)模式的大數(shù)據(jù)信息管理方法研究[D].天津大學(xué)，2014.

[3]梁峰.基于數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的電力公司營(yíng)銷(xiāo)數(shù)據(jù)分析梳理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].電子科技大學(xué)，2015.

篇（6）

全國(guó)乃至全球范圍內(nèi)，政府部門(mén)將大數(shù)據(jù)運(yùn)用作為順應(yīng)經(jīng)濟(jì)發(fā)展規(guī)律、提升政府治理能力、增強(qiáng)地區(qū)競(jìng)爭(zhēng)優(yōu)勢(shì)的新動(dòng)力、新機(jī)遇、新途徑。加強(qiáng)對(duì)數(shù)據(jù)的分析和應(yīng)用，有助于政府部門(mén)通過(guò)數(shù)據(jù)來(lái)合理制定產(chǎn)業(yè)政策、引導(dǎo)企業(yè)投資經(jīng)營(yíng)、培育新模式和新業(yè)態(tài)，推動(dòng)實(shí)體經(jīng)濟(jì)與虛擬經(jīng)濟(jì)的融合發(fā)展；有助于政府部門(mén)提升經(jīng)濟(jì)數(shù)據(jù)分析的能力，推動(dòng)社會(huì)事業(yè)數(shù)據(jù)的共享，創(chuàng)新行業(yè)管理服務(wù)的模式，加快建設(shè)法治服務(wù)型政府；有助于儲(chǔ)備基礎(chǔ)戰(zhàn)略資源，帶動(dòng)科技創(chuàng)新，釋放經(jīng)濟(jì)潛能，創(chuàng)造區(qū)域經(jīng)濟(jì)發(fā)展的潛在空間。

大數(shù)據(jù)在政府行業(yè)統(tǒng)計(jì)監(jiān)測(cè)中應(yīng)用的基本情況

目前，大數(shù)據(jù)在政府行業(yè)統(tǒng)計(jì)監(jiān)測(cè)中的應(yīng)用主要包括兩個(gè)方面，一是成為政府統(tǒng)計(jì)數(shù)據(jù)來(lái)源的補(bǔ)充渠道，實(shí)現(xiàn)原有的統(tǒng)計(jì)直報(bào)方式和大數(shù)據(jù)方式相結(jié)合，尤其是網(wǎng)絡(luò)交易數(shù)據(jù)的重要獲取來(lái)源，如利用信息技術(shù)手段整理第三方電子商務(wù)平臺(tái)交易數(shù)據(jù)以測(cè)算地區(qū)網(wǎng)絡(luò)零售額；二是成為政府統(tǒng)計(jì)數(shù)據(jù)質(zhì)量的評(píng)估依據(jù)，將獲取的大數(shù)據(jù)作為傳統(tǒng)統(tǒng)計(jì)方式獲得數(shù)據(jù)的質(zhì)量評(píng)估參考，如國(guó)家統(tǒng)計(jì)局利用中國(guó)銀聯(lián)跨行銀行卡消費(fèi)數(shù)據(jù)評(píng)估社會(huì)消費(fèi)品零售總額數(shù)據(jù)質(zhì)量等。

大數(shù)據(jù)對(duì)政府行業(yè)統(tǒng)計(jì)監(jiān)測(cè)帶來(lái)的機(jī)遇和挑戰(zhàn)

大數(shù)據(jù)在政府行業(yè)統(tǒng)計(jì)監(jiān)測(cè)中機(jī)遇與挑戰(zhàn)并存，機(jī)遇大于挑戰(zhàn)。其中，機(jī)遇主要表現(xiàn)在數(shù)據(jù)獲取方式更加便利，先進(jìn)技術(shù)逐步取代人工勞動(dòng)使得統(tǒng)計(jì)效率更高、成本更低；數(shù)據(jù)獲取頻率更加密集，可以實(shí)現(xiàn)全天候?qū)崟r(shí)監(jiān)測(cè)，逐日更新更替數(shù)據(jù)信息；獲取數(shù)據(jù)數(shù)量更加豐富，可以實(shí)現(xiàn)多維度、多區(qū)域的數(shù)據(jù)開(kāi)發(fā)和整理；獲取數(shù)據(jù)質(zhì)量更加精準(zhǔn)，尤其針對(duì)小而散的網(wǎng)絡(luò)零售企業(yè)，信息技術(shù)獲取的數(shù)據(jù)更加全面和準(zhǔn)確；挑戰(zhàn)主要表現(xiàn)在對(duì)政府統(tǒng)計(jì)能力和統(tǒng)計(jì)理論帶來(lái)的挑戰(zhàn)，一方面政府統(tǒng)計(jì)對(duì)大數(shù)據(jù)運(yùn)用的需要一個(gè)漫長(zhǎng)的周期，原有統(tǒng)計(jì)制度和現(xiàn)行統(tǒng)計(jì)方法雙軌運(yùn)行的模式需要磨合，另一方面政府統(tǒng)計(jì)人員對(duì)大數(shù)據(jù)的理解和認(rèn)識(shí)需要一個(gè)較長(zhǎng)的周期，缺少具備大數(shù)據(jù)理論和技能的專業(yè)統(tǒng)計(jì)人才。

大數(shù)據(jù)環(huán)境下政府行業(yè)統(tǒng)計(jì)監(jiān)測(cè)的發(fā)展原則、內(nèi)容和方向

電子商務(wù)行業(yè)統(tǒng)計(jì)監(jiān)測(cè)是新形勢(shì)下政府行業(yè)管理的一項(xiàng)基礎(chǔ)性、開(kāi)創(chuàng)性的工作，應(yīng)在摸索中不斷創(chuàng)新突破，使得電子商務(wù)行業(yè)統(tǒng)計(jì)監(jiān)測(cè)能夠滿足政府行業(yè)管理的需要。

（一）主要原則

電子商務(wù)領(lǐng)域應(yīng)用大數(shù)據(jù)開(kāi)展統(tǒng)計(jì)監(jiān)測(cè)具有涉及面廣、技術(shù)要求高、公益性明顯、變化性大、安全性要求高等特點(diǎn)，因此在應(yīng)用過(guò)程中應(yīng)堅(jiān)持以下原則：一是合法性原則，應(yīng)用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)采集和整理過(guò)程中，要遵守現(xiàn)行的法律法規(guī)，在合法的范圍內(nèi)安全使用；二是科學(xué)性原則，對(duì)數(shù)據(jù)進(jìn)行過(guò)濾和加工時(shí)，數(shù)據(jù)模式和方法要科學(xué)合理，確保數(shù)據(jù)的權(quán)威性；三是開(kāi)放性原則，數(shù)據(jù)不僅作為政府決策依據(jù)，還應(yīng)將大部分作為公共資源向全社會(huì)共享；四是穩(wěn)定性原則，數(shù)據(jù)來(lái)源實(shí)現(xiàn)多渠道，技術(shù)手段、數(shù)據(jù)模型等要及時(shí)更新，以保證數(shù)據(jù)根據(jù)實(shí)際需要實(shí)時(shí)；五是標(biāo)準(zhǔn)化原則，加快數(shù)據(jù)采集、指標(biāo)口徑、分類(lèi)目錄、數(shù)據(jù)交易、安全保密等關(guān)鍵共性標(biāo)準(zhǔn)的制定和實(shí)施，充分發(fā)揮標(biāo)準(zhǔn)在數(shù)據(jù)開(kāi)發(fā)應(yīng)用中的保障和支撐作用；六是市場(chǎng)性原則，數(shù)據(jù)開(kāi)發(fā)要與市場(chǎng)需求結(jié)合，以保證數(shù)據(jù)開(kāi)發(fā)應(yīng)用的具有持久生命力。

（二）建設(shè)內(nèi)容

作為一項(xiàng)系統(tǒng)性的工作，電子商務(wù)領(lǐng)域應(yīng)用大數(shù)據(jù)開(kāi)展統(tǒng)計(jì)監(jiān)測(cè)工作過(guò)程中要著力構(gòu)建三大系統(tǒng)：一是技術(shù)系統(tǒng)。要把先進(jìn)技術(shù)放在基礎(chǔ)性的地位，包括信息技術(shù)、數(shù)據(jù)模型、智能設(shè)備等，采用的技術(shù)要與行業(yè)最新發(fā)展的趨勢(shì)相匹配，同時(shí)還要著力打造具有自主知識(shí)產(chǎn)權(quán)的技術(shù)和平臺(tái)。二是應(yīng)用系統(tǒng)，針對(duì)不同市場(chǎng)主體和需求，開(kāi)發(fā)標(biāo)準(zhǔn)化和個(gè)性化的產(chǎn)品和服務(wù)，并打造方便用的可視化界面和系統(tǒng)，實(shí)現(xiàn)需求方和服務(wù)方的有效溝通，推動(dòng)技術(shù)研發(fā)與市場(chǎng)應(yīng)用的融合互補(bǔ)。三是制度系統(tǒng)，建立一套從數(shù)據(jù)采集、存儲(chǔ)、整理、分析、、保密等管理制度，建立相應(yīng)的數(shù)據(jù)管理組織構(gòu)架和績(jī)效評(píng)價(jià)機(jī)制，以保障電子商務(wù)大數(shù)據(jù)開(kāi)發(fā)應(yīng)用工作的有序進(jìn)行。

（三）發(fā)展方向

未來(lái)政府在電子商務(wù)領(lǐng)域開(kāi)展大數(shù)據(jù)應(yīng)用與開(kāi)發(fā)，個(gè)人認(rèn)為既要遵循電子商務(wù)發(fā)展的規(guī)律，也要立足現(xiàn)行的政策條件、技術(shù)條件，并根據(jù)各地實(shí)際情況和需求，按照“統(tǒng)計(jì)規(guī)劃與行業(yè)管理相結(jié)合、統(tǒng)計(jì)成果與產(chǎn)業(yè)應(yīng)用相結(jié)合、統(tǒng)計(jì)手段與先進(jìn)技術(shù)相結(jié)合、統(tǒng)計(jì)水平與國(guó)際水準(zhǔn)相結(jié)合”等“四個(gè)相結(jié)合”的方向，建立健全應(yīng)用大數(shù)據(jù)開(kāi)展電子商務(wù)統(tǒng)計(jì)監(jiān)測(cè)工作的體系，為經(jīng)濟(jì)社會(huì)發(fā)展提供有力的大數(shù)據(jù)支撐。

統(tǒng)計(jì)規(guī)劃與行業(yè)管理相結(jié)合。電子商務(wù)大數(shù)據(jù)的開(kāi)發(fā)應(yīng)用首先要以服務(wù)政府行業(yè)管理工作為出發(fā)點(diǎn)和落腳點(diǎn)，確保大數(shù)據(jù)的開(kāi)發(fā)應(yīng)用與行業(yè)管理的熱點(diǎn)、難點(diǎn)、重點(diǎn)領(lǐng)域相吻合，做好以電子商務(wù)交易額、網(wǎng)絡(luò)零售額、居民網(wǎng)絡(luò)消費(fèi)等為代表的政府考核數(shù)據(jù)的開(kāi)發(fā)，同時(shí)不局限于電子商務(wù)領(lǐng)域，逐步向旅游、票務(wù)、交通、餐飲、住宿、中介、醫(yī)療、文化等經(jīng)濟(jì)領(lǐng)域延伸，確保統(tǒng)計(jì)工作服務(wù)于各領(lǐng)域行業(yè)管理部門(mén)的需要。

統(tǒng)計(jì)成果與產(chǎn)業(yè)應(yīng)用相結(jié)合。數(shù)據(jù)是基礎(chǔ)，應(yīng)用是關(guān)鍵。電子商務(wù)大數(shù)據(jù)統(tǒng)計(jì)的成果要與政府部門(mén)在電子商務(wù)領(lǐng)域具體的工程、項(xiàng)目相吻合，使得統(tǒng)計(jì)的成果能夠直接應(yīng)用和服務(wù)于電子商務(wù)促消費(fèi)、穩(wěn)增長(zhǎng)、調(diào)結(jié)構(gòu)、惠民生等方面的具體工程，為電子商務(wù)領(lǐng)域各項(xiàng)重點(diǎn)工程和項(xiàng)目的設(shè)計(jì)、監(jiān)測(cè)和評(píng)估提供數(shù)據(jù)參考，同時(shí)也為企業(yè)經(jīng)營(yíng)決策、個(gè)人創(chuàng)業(yè)創(chuàng)新提供數(shù)據(jù)參考，提高數(shù)據(jù)成果落地的實(shí)施速度和社會(huì)經(jīng)濟(jì)效益。

統(tǒng)計(jì)手段與發(fā)展前沿相結(jié)合。在電子商務(wù)大數(shù)據(jù)開(kāi)發(fā)過(guò)程中，一方面，創(chuàng)新統(tǒng)計(jì)方法， 逐步擴(kuò)寬通過(guò)技術(shù)手段獲取數(shù)據(jù)的范圍，探索建立符合電子商務(wù)發(fā)展特點(diǎn)的測(cè)算和分析方法，同時(shí)與原有的統(tǒng)計(jì)方法做好銜接，實(shí)現(xiàn)兩條腿走路；另一方面，提升統(tǒng)計(jì)技術(shù)，充分利用先進(jìn)智能設(shè)備和前沿獲取技術(shù)，使得統(tǒng)計(jì)技術(shù)能夠適應(yīng)電子商務(wù)快速發(fā)展和變化莫測(cè)的特點(diǎn)，及時(shí)、全面的獲取行業(yè)最新業(yè)態(tài)和模式的相關(guān)數(shù)據(jù)。

統(tǒng)計(jì)水平與國(guó)際水準(zhǔn)相結(jié)合。政府部門(mén)在電子商務(wù)大數(shù)據(jù)開(kāi)發(fā)的過(guò)程中，一是要加強(qiáng)與阿里巴巴、京東、亞馬遜等第三方電子商務(wù)平臺(tái)企業(yè)的數(shù)據(jù)共享和交換，二是要加強(qiáng)與高等院校和科研機(jī)構(gòu)的理論探討，提升數(shù)據(jù)分析和研究的水平，推動(dòng)電子商務(wù)理論的發(fā)展，三是加強(qiáng)艾瑞咨詢、尼爾森等國(guó)內(nèi)國(guó)際知名第三方大數(shù)據(jù)公司的合作交流，確保數(shù)據(jù)來(lái)源、獲取方法、分析水平等全面科學(xué)、引領(lǐng)行業(yè)、接軌國(guó)際，提升政府電子商務(wù)行業(yè)統(tǒng)計(jì)分析的國(guó)際水準(zhǔn)。

篇（7）

大數(shù)據(jù)環(huán)境下政府審計(jì)存在的問(wèn)題

缺乏完善的大數(shù)據(jù)信息平臺(tái)

隨著科學(xué)技術(shù)的發(fā)展，社會(huì)已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，在這種環(huán)境下，組織開(kāi)展政府審計(jì)工作，需要依賴大數(shù)據(jù)，全國(guó)各地都在積極建設(shè)大數(shù)據(jù)信息平臺(tái)，但是受自身財(cái)力、技術(shù)等因素的影響，在大數(shù)據(jù)信息平臺(tái)建設(shè)方面存在不平衡問(wèn)題。個(gè)別地區(qū)甚至還未建立大數(shù)據(jù)信息系統(tǒng)，進(jìn)而在一定程度上使得審計(jì)數(shù)據(jù)依然分布在部門(mén)、個(gè)人手中。

缺乏大數(shù)據(jù)應(yīng)用人才。對(duì)于政府審計(jì)人員來(lái)說(shuō)，在信息化時(shí)代，一方面需要精通審計(jì)知識(shí)。另一方面需要熟悉計(jì)算機(jī)領(lǐng)域的一些知識(shí)。但是，從實(shí)際情況來(lái)看，在審計(jì)隊(duì)伍中，具備儲(chǔ)存、分析大數(shù)據(jù)能力的人才非常少。在業(yè)務(wù)人才培養(yǎng)方面，盡管政府審計(jì)機(jī)關(guān)做出了巨大的努力，但是由于利用信息化組織開(kāi)展政府審計(jì)工作處于起步階段，并且培養(yǎng)具有中級(jí)職稱的計(jì)算機(jī)審計(jì)人才需要一個(gè)過(guò)程。

審計(jì)模式與大數(shù)據(jù)審計(jì)不適應(yīng)。受計(jì)劃經(jīng)濟(jì)體制的影響和制約，審計(jì)機(jī)關(guān)在組織開(kāi)展審計(jì)工作時(shí)，一般由相關(guān)科室根據(jù)審計(jì)類(lèi)別開(kāi)展相應(yīng)的審計(jì)工作，在小數(shù)據(jù)環(huán)境下，這種審計(jì)方式有著自身的合理性。但是，進(jìn)入大數(shù)據(jù)時(shí)代，在面對(duì)大型復(fù)雜的審計(jì)項(xiàng)目時(shí)，對(duì)于政府審計(jì)機(jī)關(guān)來(lái)說(shuō)，由于數(shù)據(jù)規(guī)模大，程序復(fù)雜，在這種情況下，各科室之間需要互相配合，通過(guò)優(yōu)化配置資源，進(jìn)一步提高審計(jì)效率。

數(shù)據(jù)規(guī)模小。在我國(guó)，受計(jì)劃經(jīng)濟(jì)體制的影響，政府審計(jì)數(shù)據(jù)信息一直沒(méi)有得到到很好的整合，在這種情況下，進(jìn)一步影響了數(shù)據(jù)規(guī)模，導(dǎo)致數(shù)據(jù)規(guī)模普遍偏小，主要表現(xiàn)為，一方面政府審計(jì)缺乏規(guī)范的運(yùn)行機(jī)制，各部門(mén)之間各自為政，各自存儲(chǔ)本部門(mén)的數(shù)據(jù)信息，同時(shí)數(shù)據(jù)傳輸局限于部門(mén)內(nèi)部，數(shù)據(jù)信息很難在部門(mén)之間進(jìn)行交流，進(jìn)而在一定程度上導(dǎo)致政府審計(jì)機(jī)關(guān)很難對(duì)各部門(mén)的數(shù)據(jù)進(jìn)行整合，制約了審計(jì)業(yè)務(wù)的正常進(jìn)行。另一方面在數(shù)據(jù)存儲(chǔ)軟件方面，由于各審計(jì)機(jī)構(gòu)之間存在差異性，并且各存儲(chǔ)軟件之間不能兼容，導(dǎo)致數(shù)據(jù)信息無(wú)法進(jìn)行有效的采集，使得數(shù)據(jù)信息只能儲(chǔ)存在相應(yīng)的單位，進(jìn)而難以形成大規(guī)模的數(shù)據(jù)庫(kù)。

大數(shù)據(jù)視角下政府開(kāi)展審計(jì)的具體措施

隨著經(jīng)濟(jì)的不斷發(fā)展，大數(shù)據(jù)成為時(shí)代的熱點(diǎn)，對(duì)于政府審計(jì)機(jī)關(guān)來(lái)說(shuō)，需要利用大數(shù)據(jù)開(kāi)展審計(jì)工作。

搭建政府審計(jì)大數(shù)據(jù)信息平臺(tái)。隨著信息技術(shù)不斷發(fā)展，云技術(shù)趨于成熟，基于此，可以依托云技術(shù)搭建政府審計(jì)大數(shù)據(jù)信息平臺(tái)，按照統(tǒng)一的標(biāo)準(zhǔn)，連接審計(jì)機(jī)關(guān)、被審計(jì)對(duì)象的數(shù)據(jù)庫(kù)，對(duì)數(shù)據(jù)信息進(jìn)行實(shí)時(shí)采集，進(jìn)一步儲(chǔ)存、共享數(shù)據(jù)信息。積極開(kāi)發(fā)大數(shù)據(jù)技術(shù)，對(duì)現(xiàn)有的數(shù)據(jù)信息分析軟件進(jìn)行充分利用，對(duì)于審計(jì)人員來(lái)說(shuō)，通過(guò)建立公用數(shù)據(jù)分析系統(tǒng)，對(duì)數(shù)據(jù)信息進(jìn)行共享和共用，在一定程度上打破審計(jì)系統(tǒng)審計(jì)數(shù)據(jù)不能共享的局限性，進(jìn)而推動(dòng)審計(jì)工作的順利進(jìn)行。在組織開(kāi)展政府審計(jì)工作的過(guò)程中，審計(jì)機(jī)關(guān)需要與財(cái)稅、金融等部門(mén)加強(qiáng)合作，對(duì)有關(guān)數(shù)據(jù)信息進(jìn)行共享。因此，建立一種政府引導(dǎo)，審計(jì)機(jī)關(guān)等各部門(mén)相互配合的審計(jì)模式，搭建政府審計(jì)云平臺(tái)，各部門(mén)之間真正共享審計(jì)數(shù)據(jù)信息。

培養(yǎng)基于大數(shù)據(jù)的政府審計(jì)人員。在大數(shù)據(jù)環(huán)境下，為了做好政府審計(jì)工作，需要培養(yǎng)基于大數(shù)據(jù)的政府審計(jì)人員，首先，對(duì)政府審計(jì)人員加大教育培訓(xùn)力度，幫助政府審計(jì)人員掌握計(jì)算機(jī)領(lǐng)域的知識(shí)，尤其是涉及審計(jì)與大數(shù)據(jù)交叉的知識(shí)；其次，在審計(jì)數(shù)據(jù)采集、整理、分析等方面，幫助政府審計(jì)人員提升綜合能力，特別結(jié)合審計(jì)情況，建立數(shù)學(xué)模型對(duì)審計(jì)數(shù)據(jù)進(jìn)行分析；最后，對(duì)被審計(jì)對(duì)象信息系統(tǒng)內(nèi)控情況進(jìn)行客觀公正的評(píng)價(jià)，結(jié)合存在的具體問(wèn)題，為被審計(jì)單位管理層提出切實(shí)可行的方案。

篇（8）

中圖分類(lèi)號(hào)：G642.0；TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2016）12-0-02

0 引 言

隨著云計(jì)算、物聯(lián)網(wǎng)以及“互聯(lián)網(wǎng)+”技術(shù)的興起，數(shù)據(jù)正以前所未有的速度在不斷增長(zhǎng)和累積，互聯(lián)網(wǎng)大數(shù)據(jù)正在實(shí)時(shí)影響人們的工作、生活乃至社會(huì)發(fā)展。2012年 3月，美國(guó)奧巴馬政府公布“大數(shù)據(jù)研發(fā)計(jì)劃”，旨在提高和改進(jìn)人們從海量、復(fù)雜的數(shù)據(jù)中獲取知識(shí)的能力，發(fā)展收集、儲(chǔ)存、保留、管理、分析和共享海量數(shù)據(jù)所需要的核心技術(shù)。2014年大數(shù)據(jù)高速發(fā)展，中國(guó)互聯(lián)網(wǎng)三巨頭BAT（百度、阿里、騰訊）紛紛建立大數(shù)據(jù)研究院、大數(shù)據(jù)實(shí)驗(yàn)室等，提供大數(shù)據(jù)專業(yè)服務(wù)，一批大數(shù)據(jù)專業(yè)分析公司應(yīng)運(yùn)而生。我國(guó)的開(kāi)放、共享和智能的大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨，同時(shí)對(duì)專業(yè)人才的需求也日益增長(zhǎng)。

大數(shù)據(jù)的發(fā)展與計(jì)算機(jī)網(wǎng)絡(luò)密切相關(guān)，因此適時(shí)調(diào)整高職計(jì)算機(jī)網(wǎng)絡(luò)專業(yè)方向的培養(yǎng)目標(biāo)，可以更好的適應(yīng)大數(shù)據(jù)發(fā)展要求。大數(shù)據(jù)背景下計(jì)算機(jī)網(wǎng)絡(luò)專業(yè)學(xué)生的目標(biāo)是培養(yǎng)具有計(jì)算機(jī)網(wǎng)絡(luò)、大數(shù)據(jù)及云計(jì)算的專業(yè)知識(shí)，實(shí)踐能力強(qiáng)、職業(yè)道德素養(yǎng)高，具備云平臺(tái)的管理能力和網(wǎng)絡(luò)軟件開(kāi)發(fā)能力，能夠從事網(wǎng)絡(luò)工程設(shè)計(jì)實(shí)施、網(wǎng)絡(luò)高級(jí)管理維護(hù)、網(wǎng)絡(luò)開(kāi)發(fā)、云平臺(tái)組建及管理以及大數(shù)據(jù)存儲(chǔ)、計(jì)算及分析等崗位的高級(jí)技能型人才[1]。

1 大數(shù)據(jù)與云計(jì)算

根據(jù)維基百科的定義，大數(shù)據(jù)[2，3]是指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)主要具有4V特征[2]，即數(shù)據(jù)體量巨大（Volume）、數(shù)據(jù)種類(lèi)繁多（Variety）、流動(dòng)速度快（Velocity）、價(jià)值密度低（Value）。

從技術(shù)角度上看，大數(shù)據(jù)必然無(wú)法用單臺(tái)計(jì)算機(jī)處理，必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)、虛擬化技術(shù)。目前應(yīng)用最為廣泛的大數(shù)據(jù)分布式處理平臺(tái)就是Hadoop，Hadoop是由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式存儲(chǔ)、分析和處理的云計(jì)算平臺(tái)，已經(jīng)在網(wǎng)絡(luò)大數(shù)據(jù)領(lǐng)域得到了廣泛運(yùn)用。例如Yahoo使用4 000個(gè)節(jié)點(diǎn)的Hadoop集群來(lái)支持廣告系統(tǒng)和Web搜索的研究；Facebook使用1 000個(gè)節(jié)點(diǎn)的集群運(yùn)行Hadoop，存儲(chǔ)日志數(shù)據(jù)，支持其上的數(shù)據(jù)分析和機(jī)器學(xué)習(xí)；百度用Hadoop處理每周200 TB的數(shù)據(jù)，進(jìn)行搜索日志分析和網(wǎng)頁(yè)數(shù)據(jù)挖掘工作；淘寶的Hadoop系統(tǒng)用于存儲(chǔ)并處理電子商務(wù)交易的相關(guān)數(shù)據(jù)。

2 課程體系改革研究

2.1 課程體系現(xiàn)狀

目前，高職院校計(jì)算機(jī)網(wǎng)絡(luò)專業(yè)類(lèi)課程大多圍繞計(jì)算機(jī)網(wǎng)絡(luò)工程和計(jì)算機(jī)網(wǎng)絡(luò)開(kāi)發(fā)兩條主線，主要課程包括網(wǎng)絡(luò)基礎(chǔ)、路由器及交換機(jī)配置與管理、Windows網(wǎng)絡(luò)服務(wù)器配置與管理以及動(dòng)態(tài)網(wǎng)站開(kāi)發(fā)相關(guān)技術(shù)等。這些課程內(nèi)容傳統(tǒng)，課程內(nèi)容嚴(yán)重同質(zhì)化，教學(xué)內(nèi)容已不能滿足大數(shù)據(jù)時(shí)代人才培養(yǎng)的要求，這些將直接影響學(xué)生的理論實(shí)踐能力和就業(yè)機(jī)會(huì)。

大數(shù)據(jù)、互聯(lián)網(wǎng)+、物聯(lián)網(wǎng)及云計(jì)算技術(shù)的發(fā)展和應(yīng)用給高職計(jì)算機(jī)網(wǎng)絡(luò)專業(yè)人才培養(yǎng)帶來(lái)了新的要求與挑戰(zhàn)，與市場(chǎng)需求存在脫節(jié)現(xiàn)象。計(jì)算機(jī)網(wǎng)絡(luò)專業(yè)應(yīng)緊跟大數(shù)據(jù)、云計(jì)算等先進(jìn)技術(shù)的步伐，不斷進(jìn)行專業(yè)課程的創(chuàng)新性研究，重視實(shí)踐類(lèi)課程和教材的研發(fā)，適時(shí)調(diào)整人才培養(yǎng)目標(biāo)和專業(yè)教學(xué)計(jì)劃，以期滿足工作崗位的實(shí)際要求。

2.2 研究思路

計(jì)算機(jī)網(wǎng)絡(luò)專業(yè)經(jīng)過(guò)多年的發(fā)展，其課程體系比較成熟，形成了各自的特色教學(xué)。因此，本文的研究?jī)?nèi)容是對(duì)原有課程體系的補(bǔ)充和完善。

2.2.1 有針對(duì)性的進(jìn)一步優(yōu)化傳統(tǒng)的專業(yè)職業(yè)技能課程

傳統(tǒng)的專業(yè)職業(yè)技能課程已經(jīng)比較成熟，經(jīng)過(guò)了實(shí)踐的考驗(yàn)，也已得到了學(xué)生的認(rèn)可。盡管如此，還要有針對(duì)性的進(jìn)一步優(yōu)化，使得課程體系的理實(shí)比達(dá)到更優(yōu)，提升課程教學(xué)實(shí)施的效果。

2.2.2 采用增加模式，補(bǔ)充完善課程體系

基于大數(shù)據(jù)和云計(jì)算技術(shù)研發(fā)新的職業(yè)技能課程，充實(shí)現(xiàn)有的課程體系。大數(shù)據(jù)和云計(jì)算緊密相聯(lián)，因此要增加云計(jì)算和大數(shù)據(jù)的理論和實(shí)踐課程。在研發(fā)課程的過(guò)程中，以崗位需求為導(dǎo)向，以培養(yǎng)技能型人才為目標(biāo)，合理安排理論教學(xué)內(nèi)容和課時(shí)，著重開(kāi)發(fā)實(shí)踐教學(xué)案例和內(nèi)容，明顯區(qū)別于本科課程教學(xué)設(shè)置。

2.2.3 課程體系相互作用，相互促進(jìn)

網(wǎng)絡(luò)技術(shù)是大數(shù)據(jù)、云計(jì)算技術(shù)的基礎(chǔ)。因此計(jì)算機(jī)網(wǎng)絡(luò)傳統(tǒng)課程也是新研發(fā)課程的基礎(chǔ)。新研發(fā)課程既是傳統(tǒng)課程的有效實(shí)踐，又是對(duì)傳統(tǒng)課程的有效擴(kuò)展和提升。

2.3 具體內(nèi)容

由于大數(shù)據(jù)、云計(jì)算技術(shù)是基于網(wǎng)絡(luò)的技術(shù)，因此，計(jì)算機(jī)網(wǎng)絡(luò)專業(yè)人才培養(yǎng)具有先決條件。根據(jù)以上研究思路，具體方案主要包括強(qiáng)化現(xiàn)有課程體系，增加基礎(chǔ)理論課程、完善知識(shí)體系，增加實(shí)踐課程、鍛煉崗位能力三個(gè)部分。

2.3.1 強(qiáng)化現(xiàn)有課程體系

針對(duì)現(xiàn)階段存在的問(wèn)題，學(xué)校應(yīng)強(qiáng)化現(xiàn)有課程體系，使學(xué)生具有扎實(shí)的網(wǎng)絡(luò)管理能力和一定的網(wǎng)絡(luò)開(kāi)發(fā)能力?，F(xiàn)有的課程體系使學(xué)生具備了相關(guān)能力。熟悉ISO/OSI互聯(lián)網(wǎng)模型，并掌握常見(jiàn)的互聯(lián)網(wǎng)協(xié)議如TCP/IP、ARP、OSPF、SSL、DNS、DHCP及HTTP等。能夠配置管理Windows和Linux服務(wù)器，熟悉使用常見(jiàn)的網(wǎng)絡(luò)命令，具備遠(yuǎn)程網(wǎng)絡(luò)控制學(xué)習(xí)能力。掌握程序設(shè)計(jì)語(yǔ)言Java，具備Windows和Linux下的程序開(kāi)發(fā)能力，包括編寫(xiě)shell程序。能夠配置交換機(jī)和路由器，具備組建局域網(wǎng)的能力。熟悉信息安全、系統(tǒng)安全及網(wǎng)絡(luò)安全攻防技術(shù)。

2.3.2 增加基礎(chǔ)理論課程，完善知識(shí)體系

針對(duì)人才需求，增加大數(shù)據(jù)、云計(jì)算等基礎(chǔ)理論課程，完善知識(shí)體系。雖然大數(shù)據(jù)、云計(jì)算等課程教學(xué)的最終目的是培養(yǎng)實(shí)踐技能，但基礎(chǔ)理論仍非常重要，主要包括熟悉大數(shù)據(jù)的基礎(chǔ)概念和常見(jiàn)技術(shù)架構(gòu)；熟悉云計(jì)算原理和架構(gòu)，并了解虛擬化技術(shù)如KVM；熟悉分布式系統(tǒng)和分布式計(jì)算原理；了解大數(shù)據(jù)、云計(jì)算的最新應(yīng)用。

2.3.3 增加實(shí)踐課程，鍛煉崗位能力

在課程體系設(shè)置中，實(shí)踐課程比例應(yīng)超過(guò)理論課程。增加大數(shù)據(jù)、云計(jì)算等實(shí)踐課程，鍛煉學(xué)生的崗位能力。主要包括主流云平臺(tái)管理軟件的使用，如華為FusionSphere、VMWARE等；分布式系統(tǒng)管理、分布式并行計(jì)算以及Map/Reduce編程；Hadoop集群、HBase分布式數(shù)據(jù)庫(kù)的構(gòu)建與管理；Hadoop、HBase等案例實(shí)踐與應(yīng)用。

通過(guò)以上方法，使得計(jì)算機(jī)網(wǎng)絡(luò)專業(yè)學(xué)生在原有專業(yè)基礎(chǔ)上，掌握大數(shù)據(jù)和云計(jì)算的原理，具備云平臺(tái)的管理能力，并能基于Hadoop等云計(jì)算平臺(tái)實(shí)現(xiàn)大數(shù)據(jù)程序，對(duì)大數(shù)據(jù)進(jìn)行計(jì)算分析。

2.4 Hadoop課程實(shí)施

通過(guò)以上分析可知，增加的課程內(nèi)容主要是大數(shù)據(jù)、云計(jì)算相關(guān)課程，最終采用Hadoop云計(jì)算平臺(tái)相關(guān)技術(shù)實(shí)現(xiàn)大數(shù)據(jù)的存儲(chǔ)、計(jì)算與分析。通過(guò)理論教學(xué)，使得學(xué)生深入了解掌握大數(shù)據(jù)技術(shù)、云計(jì)算原理及Hadoop架構(gòu)。通過(guò)實(shí)踐教學(xué)，使得學(xué)生能夠掌握Hadoop集群的配置與管理，并且能夠基于Hadoop實(shí)現(xiàn)大數(shù)據(jù)程序設(shè)計(jì)，使得學(xué)生具備基本的大數(shù)據(jù)處理能力。因此Hadoop課程是核心課程。

2.4.1 Hadoop原理

Hadoop是把大數(shù)據(jù)集分發(fā)到計(jì)算集群中各個(gè)節(jié)點(diǎn)上共同處理以實(shí)現(xiàn)大數(shù)據(jù)的快速處理。用戶無(wú)需了解分布式底層細(xì)節(jié)就可開(kāi)發(fā)分布式程序，充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。Hadoop最核心的設(shè)計(jì)是HDFS文件系統(tǒng)和MapReduce編程模型。HDFS為海量數(shù)據(jù)提供存儲(chǔ)，而MapReduce則為海量數(shù)據(jù)提供了計(jì)算。如圖1所示，Hadoop運(yùn)行的基本過(guò)程如下[4，5]：

（1）客戶端可以將文件上傳至HDFS文件系統(tǒng)，NameNode則會(huì)根據(jù)文件大小和Block大小配置將文件的物理屬性分成若干個(gè)Block文件塊，并分布式存儲(chǔ)至DataNode數(shù)據(jù)節(jié)點(diǎn)，同時(shí)將塊存儲(chǔ)信息保存至NameNode節(jié)點(diǎn)，以方便文件進(jìn)行資源管理。

（2）文件上傳完成后，客戶端提交具體Job任務(wù)至Hadoop集群，各DataNode節(jié)點(diǎn)根據(jù)任務(wù)要求可以讀取相應(yīng)的文件Split，并完成Map和Reduce計(jì)算任務(wù)，將結(jié)果作為輸出文件傳輸至HDFS文件系統(tǒng)。

（3）在任務(wù)執(zhí)行過(guò)程中，可以通過(guò)JobTracker、TaskTracker及ResourceManager監(jiān)控任務(wù)的執(zhí)行情況和資源消耗信息等。

2.4.2 Hadoop教學(xué)平臺(tái)配置與部署

Hadoop教學(xué)平臺(tái)需配置、部署一些部件?；诂F(xiàn)有實(shí)驗(yàn)室的計(jì)算機(jī)和網(wǎng)絡(luò)環(huán)境，網(wǎng)絡(luò)服務(wù)器系統(tǒng)采用Linux Ubuntu，構(gòu)建Hadoop集群網(wǎng)絡(luò)?；贑loudera Hadoop開(kāi)源框架實(shí)現(xiàn)Hadoop教學(xué)平臺(tái)。

2.4.3 Hadoop分布式文件存儲(chǔ)及大數(shù)據(jù)處理實(shí)現(xiàn)

Hadoop分布式文件存儲(chǔ)及大數(shù)據(jù)處理實(shí)現(xiàn)包括：HDFS文件系統(tǒng)的使用；HBase的使用；MapReducer程序?qū)崿F(xiàn)；大數(shù)據(jù)案例分析與實(shí)現(xiàn)。

3 結(jié) 語(yǔ)

本文分析了大數(shù)據(jù)背景下高職計(jì)算機(jī)網(wǎng)絡(luò)專業(yè)的培養(yǎng)目標(biāo)和課程體系的改革思路，在優(yōu)化計(jì)算機(jī)網(wǎng)絡(luò)專業(yè)傳統(tǒng)課程的基礎(chǔ)上，增加大數(shù)據(jù)、云計(jì)算等相關(guān)課程，并以Hadoop課程的具體教學(xué)實(shí)施來(lái)培養(yǎng)學(xué)生的實(shí)踐能力，使得學(xué)生能夠緊跟大數(shù)據(jù)、云計(jì)算的技術(shù)步伐，滿足工作崗位的要求。

參考文獻(xiàn)

[1]趙偉艇，夏棟梁.基于崗位能力培養(yǎng)的云計(jì)算課程群知識(shí)體系構(gòu)建研究[J].電腦知識(shí)與技術(shù)，2016，12（2）：167-169.

[2]陶雪嬌，胡曉峰，劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學(xué)報(bào)，2013（S1）：142-146.

[3]孟小峰，慈祥.大數(shù)據(jù)管理概念技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2013，50（1）：146-169.

[4]王錚.基于Hadoop的分布式系統(tǒng)研究與應(yīng)用[D].長(zhǎng)春：吉林大學(xué)，2014.

[5]陳吉榮，樂(lè)嘉錦.基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J].計(jì)算機(jī)工程與科學(xué)，2013，35（10）：25-35.

[6]曾文英，吳積軍，曾文權(quán)，等.基于云計(jì)算的IT課程體系改革[J].計(jì)算機(jī)教育，2014（17）：40-44.

篇（9）

二、大數(shù)據(jù)管理工程檔案與工程管理模型

大數(shù)據(jù)管理工程檔案也是一個(gè)信息的整理的過(guò)程，本文在整合管理工程檔案現(xiàn)有模型研究的基礎(chǔ)上，結(jié)合大數(shù)據(jù)時(shí)代的來(lái)臨給管理工程檔案的實(shí)施帶來(lái)的挑戰(zhàn)和機(jī)遇，通過(guò)大數(shù)據(jù)管理工程檔案來(lái)促進(jìn)工程的發(fā)展，分析了的大數(shù)據(jù)時(shí)代來(lái)臨下針對(duì)管理工程檔案的雙向決策模型，分別從工程評(píng)估與預(yù)測(cè)及工程監(jiān)測(cè)與預(yù)警兩個(gè)維度構(gòu)建了針對(duì)大數(shù)據(jù)管理工程檔案的方案[6]。因此，在本文中，針對(duì)大數(shù)據(jù)管理工程檔案構(gòu)建了兩種工程檔案管理的模型，第一個(gè)模型是數(shù)據(jù)驅(qū)動(dòng)下的的工程監(jiān)測(cè)和預(yù)警的模型，采用的技術(shù)是跟蹤以及聚類(lèi)；第二個(gè)模型是目標(biāo)驅(qū)動(dòng)的工程評(píng)估與預(yù)警模型采用的技術(shù)是推送以及表征，如下圖1所示。1.工程內(nèi)部集成檔案數(shù)據(jù)目標(biāo)驅(qū)動(dòng)管理的工程評(píng)估與預(yù)測(cè)模型。工程評(píng)估與預(yù)測(cè)模型的是目標(biāo)驅(qū)動(dòng)的一個(gè)模型，也即在工程內(nèi)部的目標(biāo)驅(qū)動(dòng)下的模型，也就是說(shuō)在這一模型中，工程的決策者需求清楚的界定自己目標(biāo)需求，根據(jù)自己的目標(biāo)尋求實(shí)現(xiàn)目標(biāo)的路徑?？梢允褂闷胀ǖ臄?shù)據(jù)挖掘和收集的方法，利用工程信息系統(tǒng)中關(guān)于工程檔案數(shù)據(jù)收集、整理以及分析計(jì)算等方法來(lái)達(dá)到，通過(guò)收集的數(shù)據(jù)表征、檢索、可視化以及推送等技術(shù)實(shí)現(xiàn)工程檔案大數(shù)據(jù)開(kāi)展有針對(duì)性目標(biāo)的挖掘，從而把這些收集整理的數(shù)據(jù)轉(zhuǎn)化為可以為工程決策目標(biāo)所利用的信息及建議。此外，工程評(píng)估與預(yù)測(cè)模型是于傳統(tǒng)的數(shù)據(jù)挖掘和收集的方法上發(fā)展的，結(jié)合計(jì)量學(xué)學(xué)科中的相關(guān)技術(shù)方法應(yīng)用于工程檔案管理工作中，在目標(biāo)驅(qū)動(dòng)下對(duì)大數(shù)據(jù)時(shí)代來(lái)臨時(shí)工程的策劃、工程的實(shí)施以及工程的評(píng)估等工程檔案數(shù)據(jù)中的海量信息進(jìn)行有效整理和探析，以達(dá)致管理工程檔案的效用，從而有效評(píng)估工程的發(fā)展情況，有效及時(shí)的對(duì)工程發(fā)展的最終目的進(jìn)行預(yù)測(cè)。2.工程外部網(wǎng)絡(luò)信息建檔數(shù)據(jù)驅(qū)動(dòng)管理的工程監(jiān)測(cè)與預(yù)警模型。大數(shù)據(jù)時(shí)代來(lái)臨時(shí)工程外部網(wǎng)絡(luò)中有著海量的有用信息，這些信息對(duì)于工程建設(shè)中的新思維、新想法能起著啟發(fā)或促進(jìn)作用，大數(shù)據(jù)管理工程檔案可以通過(guò)實(shí)時(shí)建檔對(duì)這些有效核心數(shù)據(jù)加以收集和利用，在工程實(shí)施過(guò)程中，可以通過(guò)大數(shù)據(jù)收集對(duì)工程發(fā)展有積極作用的新信息和新技術(shù)，同時(shí)對(duì)于工程的不利影響因素和工程競(jìng)爭(zhēng)對(duì)手的一些相關(guān)技術(shù)進(jìn)行監(jiān)測(cè)，在監(jiān)測(cè)后針對(duì)所有會(huì)發(fā)生的情況進(jìn)行分析，最終建立起工程的預(yù)警和監(jiān)測(cè)檔案數(shù)據(jù)庫(kù)，從另一個(gè)角度說(shuō)，這也是建立工程監(jiān)測(cè)與預(yù)警模型的最終目標(biāo)。與工程評(píng)估與預(yù)測(cè)模型的目標(biāo)驅(qū)動(dòng)不同的是，工程評(píng)估與預(yù)測(cè)模型通過(guò)預(yù)先定下的目標(biāo)，來(lái)根據(jù)目標(biāo)收集和整理相關(guān)數(shù)據(jù)，而工程監(jiān)測(cè)與預(yù)警模型則不同，其更為重視通過(guò)數(shù)據(jù)系統(tǒng)自主分析來(lái)對(duì)網(wǎng)絡(luò)輿情進(jìn)行研究，大數(shù)據(jù)時(shí)代來(lái)臨時(shí)的輿情分析系統(tǒng)有聚類(lèi)、熱點(diǎn)主題檢測(cè)等相關(guān)的計(jì)算機(jī)文本信息的內(nèi)容識(shí)別技術(shù)。3.工程管理檔案大數(shù)據(jù)安全戰(zhàn)略體系構(gòu)建。以檔案大數(shù)據(jù)的方式來(lái)對(duì)工程的實(shí)施進(jìn)行管理有著安全的風(fēng)險(xiǎn)，這也是大數(shù)據(jù)管理工程檔案的存儲(chǔ)存在的新安全問(wèn)題，一般來(lái)說(shuō)，工程檔案數(shù)據(jù)的數(shù)量以及質(zhì)量會(huì)對(duì)安全存儲(chǔ)系統(tǒng)的運(yùn)行狀況帶來(lái)影響，大數(shù)據(jù)管理工程檔案中的安全存儲(chǔ)技術(shù)的升級(jí)速度較之?dāng)?shù)據(jù)增長(zhǎng)的速度慢，因此，相應(yīng)的面臨的大數(shù)據(jù)安全防護(hù)預(yù)警風(fēng)險(xiǎn)也大。

篇（10）

中圖分類(lèi)號(hào)：TE969 文獻(xiàn)標(biāo)識(shí)碼：A

在現(xiàn)在科技信息不斷發(fā)展的過(guò)程中，對(duì)大多數(shù)事物處理的方式都依靠科技信息化，這是因?yàn)樵谶M(jìn)行各項(xiàng)事物的過(guò)程中結(jié)合相應(yīng)的科技手段不僅僅能夠使得操作人員的工作更加便利，而且對(duì)于事項(xiàng)的準(zhǔn)確進(jìn)行也起到非常重要的作用。這一點(diǎn)對(duì)我國(guó)目前進(jìn)行油氣資源提煉上也能夠得到表達(dá)。在我國(guó)對(duì)油氣資源的提煉主要采用催化裂化的裝置，但是這種裝置在運(yùn)行的過(guò)程中還存在著一些問(wèn)題，這就需要采用大數(shù)據(jù)技術(shù)手段對(duì)其中可能出現(xiàn)的問(wèn)題進(jìn)行有效地控制，這一技術(shù)手段在國(guó)外大多數(shù)國(guó)家都得到廣泛地應(yīng)用。但是由于我國(guó)自身的科技發(fā)展水平還有很大的缺失，導(dǎo)致大數(shù)據(jù)技術(shù)手段在我國(guó)石化行業(yè)還沒(méi)有得到良好的使用。

一、在催化裂化裝置上應(yīng)用大數(shù)據(jù)技術(shù)的思路

由于催化裂化裝置在進(jìn)行石化工作的時(shí)候經(jīng)常會(huì)出現(xiàn)一些問(wèn)題，這些問(wèn)題的出現(xiàn)就會(huì)導(dǎo)致整個(gè)裝置不能得到合理的使用。需要對(duì)這些問(wèn)題進(jìn)行有效地分析和控制，從根本的角度上保證催化裂化裝置在進(jìn)行石化工作時(shí)候發(fā)生問(wèn)題的概率有一定的降低。而在社會(huì)上得到廣泛應(yīng)用的大數(shù)據(jù)技術(shù)對(duì)催化裂化裝置使用過(guò)程中能夠進(jìn)行遠(yuǎn)程監(jiān)控和診斷，這就大大地減少了裝置在使用過(guò)程中發(fā)生問(wèn)題的可能性。

總的來(lái)說(shuō)要想保證催化裂化裝置能夠得到良好的開(kāi)展，就需要對(duì)裝置上的大數(shù)據(jù)平臺(tái)進(jìn)行全面地建設(shè)。在對(duì)這項(xiàng)技術(shù)手段研究中發(fā)現(xiàn)對(duì)大數(shù)據(jù)平臺(tái)的建立可以采用分布式技術(shù)架構(gòu)進(jìn)行，這樣對(duì)催化裂化裝置的監(jiān)督和控制能夠更加順利地進(jìn)行。對(duì)平臺(tái)的建設(shè)在社會(huì)時(shí)間研究中主要可以分成3個(gè)部分。以下筆者就對(duì)這3個(gè)部分進(jìn)行詳細(xì)地研究。

二、具體的研究?jī)?nèi)容

1.數(shù)據(jù)整定及樣本數(shù)據(jù)模式開(kāi)發(fā)

在催化裂化裝置運(yùn)行過(guò)程中發(fā)生的各項(xiàng)問(wèn)題主要是通過(guò)數(shù)據(jù)整定進(jìn)行分析的，其根本原理在于通過(guò)大數(shù)據(jù)技術(shù)對(duì)政治進(jìn)行有效地觀察，將運(yùn)行過(guò)程中的相應(yīng)數(shù)據(jù)進(jìn)行合理地整定。一般來(lái)說(shuō)問(wèn)題的最后表現(xiàn)形式應(yīng)該是以樣本的形式存在。而對(duì)樣本收集形成的一個(gè)集合體中還存在著基礎(chǔ)樣品庫(kù)和專題樣品庫(kù)，這兩個(gè)層面對(duì)催化裂化裝置進(jìn)行分析都起到非常重要的作用。而且在對(duì)催化裂化裝置進(jìn)行控制和監(jiān)督的過(guò)程對(duì)其中發(fā)生的問(wèn)題也會(huì)進(jìn)行詳細(xì)地分類(lèi)，這樣做能夠減少對(duì)問(wèn)題解決的時(shí)間，對(duì)提升催化裂化裝置的運(yùn)行效率起到不可忽視的作用。

2.大數(shù)據(jù)分析算法庫(kù)開(kāi)發(fā)

在社會(huì)實(shí)踐研究中清楚地發(fā)現(xiàn)，大數(shù)據(jù)對(duì)催化裂化裝置進(jìn)行監(jiān)督和控制的根本原理在于通過(guò)分析算法庫(kù)進(jìn)行的。這也從根本的角度上說(shuō)明分析算法庫(kù)在大數(shù)據(jù)分析中的作用。這項(xiàng)技術(shù)手段對(duì)整個(gè)裝置引擎能夠進(jìn)行有效地計(jì)算，而且分析算法庫(kù)內(nèi)部包含的種類(lèi)也非常廣泛，每一種算法針對(duì)不同的裝置問(wèn)題，這就說(shuō)明了開(kāi)發(fā)大數(shù)據(jù)分析算法庫(kù)對(duì)解決裝置中出現(xiàn)的問(wèn)題起到非常重要的作用。

3.分析模式應(yīng)用

大數(shù)據(jù)內(nèi)部的分析模式對(duì)整個(gè)催化裂化裝置中出現(xiàn)的問(wèn)題在進(jìn)行有效地監(jiān)督之后，還可以實(shí)現(xiàn)問(wèn)題的可視。這樣對(duì)施工操作人員在對(duì)問(wèn)題進(jìn)行處理和解決的過(guò)程中發(fā)揮非常重要的作用。而且在裝置發(fā)生問(wèn)題的時(shí)候通過(guò)可視性操作可以有針對(duì)性地對(duì)問(wèn)題進(jìn)行解決，對(duì)大數(shù)據(jù)技術(shù)在催化裂化裝置中的合理應(yīng)用奠定堅(jiān)實(shí)基礎(chǔ)。

三、應(yīng)用模型開(kāi)發(fā)

（一）報(bào)警分析模型

利用工廠生產(chǎn)的歷史數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，生成各個(gè)位點(diǎn)之間的相關(guān)性與因果鏈路，并以因果鏈路圖為指導(dǎo)完成工廠生產(chǎn)異常工況的預(yù)警。此外，對(duì)中國(guó)石化各套催化裂化裝置的報(bào)警數(shù)據(jù)進(jìn)行篩選，利用報(bào)警管理算法降低報(bào)警數(shù)量。生成各個(gè)位點(diǎn)間的相關(guān)性與因果鏈路主要通過(guò)傳遞熵算法，需要選取歷史數(shù)據(jù)中各個(gè)位點(diǎn)平穩(wěn)的一段數(shù)據(jù)作為算法輸入，計(jì)算后得到位點(diǎn)兩兩之間的相關(guān)性大小（以傳遞熵值大小表示）。根據(jù)對(duì)相關(guān)性的顯著性水平檢驗(yàn)判斷篩選出各位點(diǎn)之間的因果關(guān)系，并以此為依據(jù)做出因果鏈路。

（二）結(jié)焦診斷模型

模型收集催化裝置結(jié)焦前后歷史數(shù)據(jù)，利用非線性主成分分析方法，結(jié)合實(shí)驗(yàn)室的結(jié)焦機(jī)理研究，確定結(jié)焦關(guān)鍵性參數(shù)，綜合利用神經(jīng)網(wǎng)絡(luò)算法等預(yù)測(cè)方法對(duì)結(jié)焦趨勢(shì)進(jìn)行長(zhǎng)周期預(yù)測(cè)及優(yōu)化，并通過(guò)聚類(lèi)算法及互相關(guān)函數(shù)等時(shí)滯分析算法建立關(guān)鍵性參數(shù)與大量操作數(shù)據(jù)、原料性質(zhì)數(shù)據(jù)、裝置數(shù)據(jù)等工業(yè)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系網(wǎng)，并提出具體可執(zhí)行的減緩結(jié)焦的方案。

四、信息可視化

信息可視化旨在進(jìn)行大規(guī)模信息資源的視覺(jué)呈現(xiàn)，利用圖形圖像方面的技術(shù)與方法，幫助操作人員理解和分析數(shù)據(jù)，囊括了數(shù)據(jù)可視化、信息圖形、知識(shí)可視化、科學(xué)可視化以及視覺(jué)設(shè)計(jì)等方面。可視化提供了深入洞察大數(shù)據(jù)的手段，將擬采用Processing語(yǔ)言，引入電子藝術(shù)的概念，輔助進(jìn)行系統(tǒng)開(kāi)發(fā)的可視化設(shè)計(jì)。

結(jié)語(yǔ)

綜上所述可以清楚地看出在石化工程中最常用的裝置就是催化裂化裝置，但是這項(xiàng)裝置在使用過(guò)程中經(jīng)常會(huì)出現(xiàn)一些問(wèn)題，這就需要應(yīng)用大數(shù)據(jù)技術(shù)。大數(shù)據(jù)技術(shù)在工業(yè)化生產(chǎn)中進(jìn)行全面研究，在大數(shù)據(jù)工業(yè)化應(yīng)用中可以發(fā)現(xiàn)這項(xiàng)技術(shù)對(duì)社會(huì)經(jīng)濟(jì)的提高起到非常重要的作用，也說(shuō)明大數(shù)據(jù)技術(shù)在石化行業(yè)中的使用值得推廣。

參考文獻(xiàn)