序論：好文章的創(chuàng)作是一個不斷探索和完善的過程，我們?yōu)槟扑]十篇數(shù)據(jù)分析設計范例，希望它們能助您一臂之力，提升您的閱讀品質，帶來更深刻的閱讀感受。

篇（1）

1)商品ID號：根據(jù)上線商品的ID號直接獲取商品的評論，并對評論進行等級評定；

2)評論平均分：計算評論平均分，據(jù)此可判斷商品是否合格；

3)評論分分布：計算評論的合格數(shù)及其比例。等級評定時是多個操作人員同時對同一商品數(shù)據(jù)進行評論操作，評論評分定級是人工進行的，操作人員的主觀對商品評論操作有一定影響。因此需要將所有操作人員的評論評分數(shù)據(jù)進行統(tǒng)計對比分析，以控制整個評定的有效性。

2系統(tǒng)設計

本系統(tǒng)根據(jù)MVC的三層框架，利用JSP技術制作動態(tài)網(wǎng)頁，通過JDBC技術訪問數(shù)據(jù)庫，使用JSP作為服務器端應用程序處理客戶端的請求并在Web服務器中進行業(yè)務邏輯處理并返回客戶端請求的結果。在JSP里嵌套HTML以及CSS對WEB頁面進行設計，引入Bootstrap封裝的樣式，達到系統(tǒng)數(shù)據(jù)呈現(xiàn)的設計要求。頁面數(shù)據(jù)呈現(xiàn)與后臺數(shù)據(jù)交互是整個系統(tǒng)的核心，對數(shù)據(jù)進行歸納計算和整理并呈現(xiàn)到用戶界面上。用戶只需獲取到公司平臺上線商品的ID號就可以通過系統(tǒng)抓取商品評論數(shù)據(jù)；同時對數(shù)據(jù)進行整理分析得到評論平均分、評論分數(shù)比例等數(shù)據(jù)；同時可以系統(tǒng)整理分析出整體上線商品的整體趨勢，通過餅狀圖直觀地看出商品的品質分布。

2.1系統(tǒng)功能結構設計

商務平臺商品數(shù)據(jù)分析系統(tǒng)分為三個模塊，八個基本功能，分別是管理員登陸、用戶登陸、用戶注冊、商品評論抓取評分、商品評論數(shù)據(jù)的統(tǒng)計和分析、用戶管理和修改密碼等。

1)管理員登陸：管理員輸入用戶名和密碼，數(shù)據(jù)經由UIServlet傳遞給ControllerServlet，再到數(shù)據(jù)庫中驗證身份，將結果返回給JSP，成功登陸就可進入系統(tǒng)，不成功則重新輸入。用戶名只可能是字母，密碼字母和數(shù)字皆可。管理員是系統(tǒng)指定的，不可以注冊。

2)用戶登錄：普通用戶輸入用戶名和密碼，數(shù)據(jù)經由UIServlet傳遞給ControllerServlet，再到數(shù)據(jù)庫中驗證身份，將結果返回給JSP，成功登陸就可進入系統(tǒng)，不成功則重新輸入。用戶名只可能是6-20位字母，密碼是6-15位字母和數(shù)字組合皆可。若沒有賬號，可以在用戶登錄JSP頁面點擊注冊，通過UIServlet跳轉到注冊頁面。

3)用戶注冊：用戶注冊需要輸入Email、用戶名、密碼等信息，Email有格式判斷，必須輸入正確的格式，用戶名必須是6-20位字母，密碼是6-15位的字母數(shù)字組合皆可。輸入正確后可以成功申請新用戶，隨后跳轉到普通用戶登錄界面登錄系統(tǒng)。

4)商品評論抓取評分：普通用戶與管理員皆可操作，在輸入框中輸入商品的id號，點擊查詢，就可獲取到“淘寶網(wǎng)”中商品的前一百條評論，并且按照評論時間順序進行呈現(xiàn)。其后的評分框，按照規(guī)定只能輸入1-5的數(shù)值，同時點擊保存，數(shù)據(jù)就會存入數(shù)據(jù)庫中。

5)商品評論數(shù)據(jù)統(tǒng)計：此功能方便普通用戶清楚的跟蹤自己的工作進度，對于管理員可以掌控平臺上線商品的商品質量，會顯示出該操作人員所操作的所有商品的平均分、合格率，可以看出該操作人員操作的商品評分狀態(tài)詳情。

6)商品評論數(shù)據(jù)分析：此功能為管理者觀察網(wǎng)站整體上線商品的質量分布，點擊查詢，會統(tǒng)計所有使用系統(tǒng)的普通用戶操作過的所有商品數(shù)的評論數(shù)據(jù)。如此管理者可以通過這些數(shù)據(jù)對網(wǎng)站上線商品進行調整。以操作人為條件，區(qū)分每個人的操作數(shù)據(jù)，可以控制一定的主觀誤差，還有整體的上線商品的趨勢。普通用戶可以看出自己的主觀意見和其他用戶的差別。

7)用戶管理：管理員可以對普通用戶進行增加和刪除，用戶管理界面對普通用戶不可見。管理員有權限重置普通用戶的密碼。

8)修改密碼：管理員和普通用戶都可以自行更改密碼。

2.2系統(tǒng)數(shù)據(jù)庫設計

數(shù)據(jù)庫能夠對商務平臺商品數(shù)據(jù)分析系統(tǒng)的后臺數(shù)據(jù)進行添加、刪除、查詢，修改。本系統(tǒng)采用MySQL數(shù)據(jù)庫設計，分別是用戶信息表、評論評分信息表、商品數(shù)據(jù)分析表和商品數(shù)據(jù)統(tǒng)計表。用戶信息表主要保存管理員和普通用戶的登錄信息：用戶的用戶名、密碼、級別還有Email。評論評分信息表主要保存評論內容、評論的時間、評論評分、商品id、操作人員、商品名稱等。商品數(shù)據(jù)分析表主要保存操作人員、操作商品總數(shù)、平均四分以上的商品總數(shù)及其比例、合格率大于80%的商品總數(shù)及其占比、合格率大于60%的商品總數(shù)及其占比、不合格商品總數(shù)及其占比等內容。商品數(shù)據(jù)統(tǒng)計表主要保存商品id、操作人員、商品名稱、評論平均分、評論合格率、評論不合格率等信息。

篇（2）

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2013）12-2798-04

目前在激光準直、測角、自動跟蹤等精密光電檢測系統(tǒng)中，探測目標位置的連續(xù)變化已經變得非常重要。位置敏感探測器（Position Sensitive Detector，PSD）是對入射到光敏面上的光斑能量中心位置敏感的光電感應器件，可以利用少數(shù)幾個輸出光電信號的相對程度來計算位置信息。由其構成的數(shù)據(jù)分析系統(tǒng)具有位置分辨率高、響應速度快等特點[1]；四象限探測器（Four-Quadrant photodetector，QPD）通過比較四個象限的電流來確定光斑中心在二維平面上的位置坐標，其數(shù)據(jù)分析系統(tǒng)可以探測目標位置的連續(xù)變化，具有位置分辨率高、響應速度快、調節(jié)方便等特點[2-3]。該文在對光電位置敏感器件構成的數(shù)據(jù)分析系統(tǒng)研究的基礎上，開發(fā)了一套上位機軟件界面。該上位機軟件交互界面設計了供用戶選擇位置敏感器件型號及輸入系統(tǒng)修正參數(shù)的窗口，通過對串口通信和USB通信方法的研究，設置了上下位機通信控制部分，同時，設計了光斑中心位置數(shù)據(jù)文本直觀顯示、模擬坐標繪制、歷史信息保存模塊，及設備狀態(tài)顯示模塊。軟件功能全面、界面友好、操作直觀、方便，且適用于其他型號的位置敏感器件數(shù)據(jù)分析系統(tǒng)中。

1 開發(fā)工具簡介

Visual C++ 6.0擁有強大的功能和友好的界面，能為用戶提供一個良好的可視化開發(fā)環(huán)境，它將程序和資源的編輯、編譯、調試和運行融為一體，且提供了大量的程序開發(fā)工具。MFC是它一個龐大的類庫，實現(xiàn)了標準的用戶接口，提供了管理窗口、菜單、對話框的代碼，可實現(xiàn)基本的輸入/輸出和數(shù)據(jù)存儲，為用戶開發(fā)Windows應用程序建立了一個非常靈活的應用程序框架[4]。

在MFC中對消息的處理利用了消息映射的方法，該方法的基礎是宏定義實現(xiàn)，通過宏定義將消息分派到不同的成員函數(shù)進行處理。因此，在這種機制的支持下，MFC具有強大的消息處理能力[5]。

借助VC++提供的軟件代碼自動生成可視化資源編輯的功能及MFC消息映射機制，可以很便捷地開發(fā)上位機軟件交互界面。

2 交互界面設計

上位機軟件交互界面包括供用戶選擇位置敏感器件型號及輸入相應修正參數(shù)的窗口部分，上下位機通信控制部分，數(shù)據(jù)/設備狀態(tài)顯示部分。

2.1 供用戶選擇輸入的窗口設計

利用下拉式列表框控件提供供用戶選擇位置敏感器件型號的窗口。通過給其連接變量m_Type，利用m_Type.AddString（）函數(shù)為列表框添加選項，m_Type.SelectString（-1， "HY1315（Active area 1.3*15mm）"）函數(shù)添加默認選項。軟件通過m_Type. GetCurSel（）函數(shù)獲得用戶的選擇，完成相應量程及坐標軸范圍的改變及顯示。利用編輯框控件提供用戶輸入增益及修正系數(shù)的窗口，以完善數(shù)據(jù)處理[6]。

2.2 上下位機通信控制模塊設計

上下位機通信控制模塊是數(shù)據(jù)分析系統(tǒng)實時數(shù)據(jù)采集的核心部分。設計中采用了串口通信和USB通信兩種方式進行數(shù)據(jù)采集與傳輸。其中，串口通信用于測試，USB通信用于實際數(shù)據(jù)傳輸。

圖1 USB通信流程圖

2.2.1 串口通信控制部分

利用單選按鈕控件提供串口號選擇窗口，通過函數(shù)GetCheckedRadioButton（）獲取串口號。通過按鈕控制串口設備的狀態(tài)，按鈕交互的實現(xiàn)，通過MFC類向導對按鈕按下時，觸發(fā)消息BN_CLICKED進行攔截，并重寫對應的消息處理函數(shù)On*Button（），在函數(shù)中完成相應按鈕的功能。串口控制區(qū)中，“Open”、“Close”按鈕對應的函數(shù)在獲取用戶選擇的串口號后，分別完成對應串口的打開及關閉功能；“Start”、“Stop”按鈕通過控制參數(shù)m_SPStop控制串口通信的開始與否。借助串口類成員函數(shù)OnComm（）實現(xiàn)接收字符及相應數(shù)據(jù)處理的功能[7]。

2.2.2 USB通信控制部分

USB通信接口具有即插即用的特點，方便與微處理器進行聯(lián)機通信，同時USB的通信效率要遠遠高于RS232、RS485等通信接口。USB通信控制部分通過按鈕控制數(shù)據(jù)傳輸，根據(jù)用戶選定的位置敏感器件型號，進行相應的數(shù)據(jù)處理。通信程序流程圖如圖1所示。

“Link”按鈕通過標志位m_OpenFlag控制設備是否連接?！癝tart”和“Stop”按鈕通過標志位m_stop控制數(shù)據(jù)接收與否。“Suspand”按鈕通過參數(shù)m_pause控制數(shù)據(jù)傳輸?shù)臅和：屠^續(xù)，當按下該按鈕時，按鈕改變?yōu)椤癈ontinue”字樣，同時通過調用Invalidate（）函數(shù)使整個客戶區(qū)無效，這時Windows會在應用程序的消息隊列中放置WM_PAINT消息，MFC為窗口類提供了其消息處理函數(shù)OnPaint（）；當再次按下該按鈕時，OnPaint（）函數(shù)負責重繪窗口，從而重新進行數(shù)據(jù)傳輸。

上下位機的數(shù)據(jù)通信通過直接調用CH375DLL.dll動態(tài)鏈接庫實現(xiàn)。CH372是一款USB總線的通用設備接口芯片，是芯片CH375的功能簡化版，硬件成本更低，且完全兼容CH375，可以直接使用其WDM驅動程序和動態(tài)鏈接庫。CH372在計算機端提供了應用層接口，即由動態(tài)鏈接庫DLL提供的面向功能應用的API，包括：設備管理API、數(shù)據(jù)傳輸API及中斷處理API。設備管理API包含了打開設備函數(shù)CH375OpenDevice（），關閉設備函數(shù)CH375CloseDevice（）；數(shù)據(jù)傳輸API包含了讀取數(shù)據(jù)塊（數(shù)據(jù)上傳）函數(shù)CH375ReadData（），寫出數(shù)據(jù)塊（數(shù)據(jù)下傳）函數(shù)CH375WriteData（）等[8]。

2.3數(shù)據(jù)/設備狀態(tài)顯示設計

上位機軟件在數(shù)據(jù)傳輸過程中，借助CString類成員變量stateinfo直觀顯示設備狀態(tài)。數(shù)據(jù)接收處理后，借助Format（）函數(shù)，以文字形式直觀顯示光斑中心位置的橫縱坐標值，利用繪圖函數(shù)在模擬坐標中顯示光斑位置。借助文件實現(xiàn)數(shù)據(jù)歷史信息保存的功能，關鍵代碼如下：

GetDlgItem（IDC_RECEIVE_EDIT）PostMessage（WM_VSCROLL，SB_BOTTOM，NULL）；

CString strPath；

圖2 HY1315系統(tǒng)調試結果圖

GetModuleFileName（NULL，strPath.GetBufferSetLength（MAX_PATH+1），MAX_PATH）；

strPath.ReleaseBuffer（）；

//此時strPath內容為工程文件全路徑，如：E：＼TestPro＼Exam＼ Test.exe

//以下函數(shù)作用是獲取最后一個"＼"的位置

圖3 四象限探測器系統(tǒng)調試結果圖

int nPos=strPath.ReverseFind（'＼＼'）；

//開始取全路徑

strPath=strPath.Left（nPos+1）；//此時strPath保存為當前工程的全路徑，如：E：＼TestPro＼Exam＼

//保存文件

CFile m_rFile；

if（！m_rFile.Open（"Rec.txt"，CFile：：modeCreate | CFile：：modeWrite）） {

AfxMessageBox（"創(chuàng)建記錄文件失??！"）；}

m_rFile.Write（m_Receive，m_Receive.GetLength（））；

m_rFile.Close（）；

3 實際調試結果

上位機軟件設計完成后，運行程序，選擇位置敏感器件的型號為默認選項，即一維位置敏感探測器HY1315，連接其對應的系統(tǒng)設備，輸入需要的增益參數(shù)，選擇串口號，單擊串口控制區(qū)“Open”按鈕打開串口，“Start”按鈕接收數(shù)據(jù)，此時上位機界面數(shù)據(jù)、設備狀態(tài)顯示，模擬光斑坐標結果如圖2所示。再次運行程序，選擇四象限探測器型號，即QP36（Active area 6*6mm），連接相應系統(tǒng)設備，單擊USB通信控制區(qū)按鈕，可以控制數(shù)據(jù)傳輸設備的狀態(tài)，單擊“Link”按鈕打開設備，“Start”按鈕接收數(shù)據(jù)，此時上位機軟件界面結果如圖3所示。

4 結束語

針對位置敏感器件構成的數(shù)據(jù)分析系統(tǒng)，通過對串口通信和USB通信方法的研究，借助VC++提供的軟件代碼自動生成可視化資源編輯的功能及MFC消息映射機制，設計了上位機人機交互界面。調試結果證明，該界面能夠實現(xiàn)用戶選擇輸入，實現(xiàn)數(shù)據(jù)的上下位機通信傳輸，直觀顯示數(shù)據(jù)，準確繪出光斑在模擬坐標中的位置，完成光斑位置的歷史信息存儲。設計為數(shù)據(jù)分析系統(tǒng)提供了一套功能全面、界面友好、操作直觀、方便的上位機軟件。應用中只需修改對應的數(shù)據(jù)處理，即可應用到其他類似的數(shù)據(jù)分析系統(tǒng)中，很大程度上增強了系統(tǒng)的實際應用性。該界面已用于PSD及QPD數(shù)據(jù)分析系統(tǒng)試驗箱中。

參考文獻：

[1] Henry J，Livingstone J.Improved position sensitive detectors using high resistivity subs- trates[J].J Phys D ：Appl Phys ，2008，41.

[2] Liu Yun，De Xu，MinTan.A new pre-alignm ent approach based on four-quadrant-photo- detector for IC mask[J].International Journal of Automation and Computing，2007， 4（2）： 208 -216.

[3] Guo Li，Zheng Shuang.A high-performanc -e smallsignal amplifier[J].Journal of Northe-ast Agricultuial University，2005，12（2）：141-145.

[4] Wang Ziying.The design of scene simula- tion system based on MFC programming fra- mework[J].Advanced Computer Control （ICA CC）.2010，V3： 302-305.

[5] 潘恒.基于VC++/MFC的麻將牌連連看程序設計.[J]科協(xié)論壇：下半月，2011，25（5）： 53-54.

[6] 揣錦華.面向對象程序設計與VC++實踐[M].西安：西安電子科技大學出版社，2005：201-204.

篇（3）

中圖分類號：U279 文章編號：1009-2374（2017）11-0007-02 DOI：10.13535/ki.11-4406/n.2017.11.004

1 概述

S著城市軌道交通的快速發(fā)展，地鐵成為人們出行不可或缺的交通工具。地鐵車輛作為運送乘客的主要載體，具有封閉性強、起停頻繁、客流量大且來源復雜、乘客自助乘車、應急疏散難度大等固有特點，因此對其自身的可靠性及維修保障工作有著非常高的要求。搭建地鐵車輛遠程數(shù)據(jù)分析平臺可以運行地鐵車輛提供遠程決策支持，對列車開展實時監(jiān)控和故障處理，并通過故障統(tǒng)計和數(shù)據(jù)分析進而達到車輛優(yōu)化設計的目的。

2 平臺需求

2.1 功能需求

以列車運營管理的實際工作需求為核心，提高列車組效率和效能，節(jié)約維修費用，減少事故率為目標開展建設工作，其主要具有列車組及關鍵部件的實時監(jiān)視、故障預測功能。

通過列車組及關鍵部件或子系統(tǒng)當前狀態(tài)，對故障進行診斷或識別，并對潛在的故障進行預測或報警；根據(jù)故障診斷及預測信息、當前維修可用資源情況以及對系統(tǒng)的使用需求等對列車組或關鍵部件的維修活動提供決策支持和建議。實現(xiàn)一套列車組及關鍵部件的狀態(tài)檢測、故障診斷、運行監(jiān)控、故障預測及決策支持的完整系統(tǒng)，同時針對不同子系統(tǒng)/產品建立全生命周期的產品數(shù)據(jù)服務，滿足企業(yè)對生產、運營維護、設計優(yōu)化、采購等不同環(huán)節(jié)決策的支撐要求。根據(jù)業(yè)務需求，系統(tǒng)具有以下功能：

2.1.1 車載系統(tǒng)。由系統(tǒng)檢測、故障診斷、集中報警及無線傳輸?shù)冉M成。通過在列車組及各子系統(tǒng)上安裝各種傳感器，獲取動車組及關鍵子系統(tǒng)傳感器及控制系統(tǒng)的數(shù)據(jù)。利用故障特征提取、數(shù)據(jù)分析及對比、基于模型的系統(tǒng)辨識等多技術相融合的故障診斷技術，實現(xiàn)牽引、制動、輔助等各子系統(tǒng)的在線故障診斷（故障定位到最小可更換單元）和故障報告，通過車載無線傳輸系統(tǒng)將狀態(tài)數(shù)據(jù)和故障數(shù)據(jù)傳輸至地面。

2.1.2 運行監(jiān)控系統(tǒng)。列車狀態(tài)、故障監(jiān)控、綜合診斷及應急處置等組成。根據(jù)列車組和關鍵零部件的運行狀態(tài)，提取與列車組安全運行相關的數(shù)據(jù)及關鍵技術指標進行監(jiān)控。根據(jù)車載系統(tǒng)傳輸?shù)墓收蠄蟾婊蜿P鍵設備技術狀態(tài)數(shù)據(jù)對當前列車組運行狀態(tài)進行評估，對潛在的故障進行綜合診斷，形成綜合評估和故障診斷報告，依據(jù)故障等級對列車組進行控制，對列車組現(xiàn)場人員提供技術指導和應急處置方案。

2.1.3 健康維護系統(tǒng)。由故障報告、健康評估、故障預測、維修管理等組成。根據(jù)列車組車載系統(tǒng)及運行監(jiān)控系統(tǒng)報告的故障數(shù)據(jù)和列車組設備狀態(tài)數(shù)據(jù)以及積累的歷史數(shù)據(jù)，在地面利用高性能計算機及檢測系統(tǒng)實現(xiàn)智能故障推理、關鍵機械部件的故障發(fā)展趨勢模型，實現(xiàn)列車組及關鍵部件健康狀態(tài)評估及故障預測，給出列車組系統(tǒng)的綜合評價指標，提高列車組或部件的維修管理水平。

2.1.4 決策支持系統(tǒng)。由狀態(tài)維修、壽命預測、服役跟蹤、檔案管理等組成。根據(jù)地面系統(tǒng)存儲的列車組及關鍵部件的大量數(shù)據(jù)和歷史檔案數(shù)據(jù)，利用數(shù)據(jù)挖掘、故障模式識別等手段，建立關鍵機械部件故障發(fā)展趨勢模型庫，電子零部件的連續(xù)量、離散量、開關量等不同性質的故障預測模型庫，建立列車組及零部件健康檔案，進行零部件壽命預測、服役跟蹤和檔案管理，給出維修決策，形成列車組及關鍵部件健康評價指標體系。

2.2 業(yè)務需求

根據(jù)地鐵車輛遠程數(shù)據(jù)分析系統(tǒng)提供的核心功能，具體的業(yè)務需求為：

2.2.1 數(shù)據(jù)采集存儲模塊。主要實現(xiàn)列車實時數(shù)據(jù)和離線數(shù)據(jù)的接收、轉發(fā)、解析、存儲等功能。

2.2.2 實時狀態(tài)檢測模塊。對列車的關鍵部件工作狀態(tài)、運行線路、故障數(shù)據(jù)進行管理和處理，以可視化的形式進行展示。

2.2.3 分析統(tǒng)計模塊。對列車的歷史數(shù)據(jù)、離線數(shù)據(jù)結合知識庫，進行統(tǒng)計分析，以可視化的形式進行展示。

2.2.4 后臺管理模塊。對整個系統(tǒng)進行綜合的后臺管理，管理員通過Web登錄管理系統(tǒng)后，可以進行用戶管理、權限管理、日志管理以及資料管理等操作。

3 總體設計

3.1 搭建原則

以創(chuàng)新驅動、資源共享為引領，整合地鐵和現(xiàn)代信息技術等先進成果，打造創(chuàng)新、高效的列車遠程數(shù)據(jù)分析。系統(tǒng)是一種具有基礎性的支撐體系，數(shù)據(jù)來源廣泛而零散，它具有整合和共享的服務性質。

3.2 業(yè)務架構

以列車智能維護為目標應用領域，圍繞其數(shù)據(jù)增量的特點，建立流式數(shù)據(jù)接入、存儲管理、實時跟蹤以及異常識別的全業(yè)務鏈服務體系。結合當前技術缺陷，在平臺搭建中實現(xiàn)流式數(shù)據(jù)實時處理與離線分析工作的結合。

系統(tǒng)建設的目的是針對列車監(jiān)測數(shù)據(jù)，提供一體化、智能化的數(shù)據(jù)支撐服務環(huán)境，實現(xiàn)多源數(shù)據(jù)的存儲、管理、分析。其主要包括采集層、現(xiàn)場處理層、接入層、IO層、持久化層、分析處理層以及服務層共七個基本層次。

3.2.1 采集層：其通過各種傳感器與車上網(wǎng)絡環(huán)境形成數(shù)據(jù)采集環(huán)境。采集的各種對象的監(jiān)控數(shù)據(jù)經過匯聚后，統(tǒng)一開展現(xiàn)場處置與傳輸?shù)群罄^工作，其依賴列車通信設備。

3.2.2 現(xiàn)場處理層：其在采集層數(shù)據(jù)的基礎上，根據(jù)管理機制對數(shù)據(jù)進行檢測，發(fā)現(xiàn)異常對象的前兆與警報信息，并通過列控數(shù)據(jù)交換機制及時預警或值警，同時根據(jù)不同數(shù)據(jù)的業(yè)務重要性以多種方式回傳后臺。另外，結合列控網(wǎng)采集手段，在列車檢修階段采集有關數(shù)據(jù)并回傳，滿足后臺管理、分析與業(yè)務支撐的要求。

3.2.3 接入層：根據(jù)不同類別數(shù)據(jù)的規(guī)范要求，清洗數(shù)據(jù)并存儲入庫。

3.2.4 IO層：利用文件系統(tǒng)實現(xiàn)底層數(shù)據(jù)的基本IO存儲與讀取。通過文件系統(tǒng)有效實現(xiàn)系統(tǒng)整體IO讀寫負載的平衡，滿足數(shù)據(jù)持久化存儲的基本要求。

3.2.5 持久化層：由基本數(shù)據(jù)庫構成。在這一層中圍繞列車海量、多維流式監(jiān)測數(shù)據(jù)提供高性能數(shù)據(jù)存儲管理系統(tǒng)。這一系統(tǒng)結合IO定向分布、流數(shù)據(jù)增量分段存儲模型等方式，實現(xiàn)流數(shù)據(jù)集的規(guī)?？煽?，解決由高增量引起的存儲膨脹問題；針對列車數(shù)據(jù)實時主動的需求特點，在鍵值存儲模型的基礎上，建立邊界溢出主動機制，槌志貌闃械氖凳敝鞫提供基礎。

3.2.6 分析處理層：在內存數(shù)據(jù)集的基礎上構造基于連續(xù)窗口的事件多維數(shù)據(jù)主動協(xié)同機制；結合底層數(shù)據(jù)主動機制以及數(shù)據(jù)pub/sub機制實現(xiàn)增量過程中，事件的主動識別、跟蹤與觸發(fā)響應。

3.2.7 服務層：提供故障（報警）統(tǒng)計查詢、實時數(shù)據(jù)查詢等用戶服務。

3.3 邏輯結構

遠程數(shù)據(jù)分析平臺由服務器端軟件、Web端軟件兩部分組成。

3.3.1 服務器端軟件。根據(jù)數(shù)據(jù)類型有流式、結構化以及查詢模式化的特點，結合關系數(shù)據(jù)庫構成一體化的存儲管理支撐環(huán)境，完成數(shù)據(jù)的統(tǒng)一存儲、管理。

3.3.2 Web端軟件。提供系統(tǒng)實時狀態(tài)監(jiān)測、數(shù)據(jù)分析和預警等基本功能；為整個系統(tǒng)的數(shù)據(jù)處理和數(shù)據(jù)等操作提供統(tǒng)一的配置管理平臺，包括用戶信息管理、用戶權限分配等系統(tǒng)管理功能，組成系統(tǒng)的綜合信息管理環(huán)境。

3.4 物理結構

3.4.1 實時數(shù)據(jù)。（1）列車實時通過地面4G無線傳輸通道通過以TCP協(xié)議將車載數(shù)據(jù)分別傳輸?shù)綑z修庫服務器和車輛段服務器；（2）檢修庫和車輛段的實時數(shù)據(jù)采集存儲軟件同時對協(xié)議數(shù)據(jù)進行數(shù)據(jù)采集、解析，解析后的數(shù)據(jù)通過以太網(wǎng)存儲到數(shù)據(jù)庫，對實時數(shù)據(jù)長期存儲；（3）Web程序讀取數(shù)據(jù)庫，對數(shù)據(jù)進行可視化展示；（4）用戶通過以太網(wǎng)使用瀏覽器，在網(wǎng)頁中進行查看。

3.4.2 離線數(shù)據(jù)。（1）車輛到庫后，維護人員使用HMI進行手動觸發(fā)進行車輛數(shù)據(jù)上傳或者TCMS根據(jù)時間觸發(fā)條件自動上傳車輛數(shù)據(jù)，借用庫內WLAN技術，以TCP或者FTP的協(xié)議發(fā)送到車輛段或者檢修庫服務器；（2）車輛段服務器中的離線數(shù)據(jù)采集存儲軟件對數(shù)據(jù)進行數(shù)據(jù)采集、解析，并將解析后的數(shù)據(jù)內容通過以太網(wǎng)的方式存儲到數(shù)據(jù)庫中；（3）Web程序讀取數(shù)據(jù)庫，對數(shù)據(jù)進行可視化展示；（4）用戶通過以太網(wǎng)使用瀏覽器，在網(wǎng)頁中進行查看。

4 結語

隨著地鐵車輛遠程數(shù)據(jù)分析平臺的搭建，可以大大提高車輛自診斷及維修智能化水平，提升維修診斷效率；降低人工成本，提高車輛的可靠性和安全性；更便于建立車輛維修智能化數(shù)據(jù)庫，優(yōu)化維修模式，提升資源利用率，隨著車輛的數(shù)據(jù)累計，更加可以利用云計算、數(shù)據(jù)挖掘、神經元算法等提供車輛運行的安全性和可靠性，為后期車輛的設計改進提供強有力的數(shù)據(jù)支持。

參考文獻

篇（4）

引言

與傳統(tǒng)數(shù)據(jù)數(shù)量手段比較，大數(shù)據(jù)技術具有數(shù)據(jù)類型復雜、處理迅速、實效性強等優(yōu)點，在智能交通領域運用大數(shù)據(jù)技術，可以采集海量的數(shù)據(jù)，這些數(shù)據(jù)內包含許多不可估量的價值，通過挖掘和分析能夠快速得到所需的數(shù)據(jù)信息[1]。針對上述情況，本文提出基于大數(shù)據(jù)技術智能交通臺數(shù)據(jù)平臺各功能層設計情況，并提出其在交通數(shù)據(jù)診斷、路網(wǎng)延遲指數(shù)等方面的應用。

1智能交通數(shù)據(jù)平臺功能需求

隨著智能交通管控平臺違法數(shù)據(jù)、道路信息增長速度日益加快，過去的關系型數(shù)據(jù)庫在數(shù)據(jù)保存、處理等方面的性能已無法滿足龐大的數(shù)據(jù)需求。關系型數(shù)據(jù)庫在對智能交通轉向場景的規(guī)律展開分析時，難以從多個維度數(shù)據(jù)類型間創(chuàng)建良好的相關性聯(lián)系。大數(shù)據(jù)技術的應用就是為將這些結構或者半結構化的智能交通數(shù)據(jù)實施整合處理，因此，依托大數(shù)據(jù)技術設計的智能交通數(shù)據(jù)分析平臺具有的處理功能如下：①過車數(shù)據(jù)：處在行使狀態(tài)的車輛從卡口、電子警察等智能視頻采集點通過時，能夠準確記錄該車輛的車牌號、顏色、車型等結構化的數(shù)據(jù)信息。②車輛違規(guī)行駛數(shù)據(jù)：前段配置的采集設備能從各路口采集車輛是否闖紅燈、壓線、違法掉頭或停車等數(shù)據(jù)。同時，利用智能的視頻采集點或固定源能夠實時采集車輛行駛速度、車頭間距等車流量信息。③運用大數(shù)據(jù)技術設計的智能交通數(shù)據(jù)分析平臺能夠與信號控制系統(tǒng)實現(xiàn)對接，及時獲取信號控制系統(tǒng)的相位控制等信息。同時，智能交通數(shù)據(jù)分析平臺還具備監(jiān)控和智能交通管控平臺，能夠提供過車信息數(shù)據(jù)、路網(wǎng)信息、違法數(shù)據(jù)等。

2大數(shù)據(jù)背景下智能交通數(shù)據(jù)平臺架構

2.1設計整體架構

智能交通數(shù)據(jù)分析平臺是采用先進的計算機信息技術、通信技術、傳感技術、人工智能等有效整合用于交通運輸信息的管理和控制中，注重人、車與道路之間的協(xié)調，組成一種有利于改善環(huán)境、節(jié)約能源、保護安全的綜合運輸系統(tǒng)。智能交通數(shù)據(jù)分析平臺運用層次化結構模型展開設計，并根據(jù)大數(shù)據(jù)建設要求，整個平臺包含數(shù)據(jù)感知、資源層、應用層三個層次，數(shù)據(jù)感知層主要任務就是采集交通信息，資源層旨在管理交通領域的數(shù)據(jù)；應用層旨在負責實時調度智能交通資源。本次設計的智能交通數(shù)據(jù)平臺系統(tǒng)能滿足采集、存儲、調度及處理數(shù)據(jù)等方面的需求，具體架構如圖1所示。

2.2各模塊層設計

2.2.1資源層從智能交通數(shù)據(jù)存儲方面分析，運用數(shù)據(jù)倉庫與挖掘技術實現(xiàn)大數(shù)據(jù)的存儲和分析。其中，數(shù)據(jù)倉庫技術能夠滿足智能交通數(shù)據(jù)平臺處理海量數(shù)據(jù)的要求，該技術依托預設的存儲模式，把交通領域中的異構數(shù)據(jù)根據(jù)數(shù)據(jù)結構數(shù)據(jù)實施提取、調用、處理等操作。同時，根據(jù)預設的倉儲模型把數(shù)據(jù)存放在數(shù)據(jù)倉庫內，借助數(shù)據(jù)倉庫技術設計的智能交通數(shù)據(jù)平臺下數(shù)據(jù)存儲及挖掘架構見圖2。

2.2.2應用層設計利用SOA實現(xiàn)智能交通數(shù)據(jù)平臺系統(tǒng)應用層的設計，該層主要包含三個子模塊：①應用實現(xiàn)模塊：該模塊旨在完成數(shù)據(jù)的調度，借助邏輯編程及時實現(xiàn)相應的功能；②應用流程模塊：大數(shù)據(jù)調度流程依托專業(yè)的BPEL工具調度各種資源；③特殊調度模塊：該模塊的主要任務是把自定義調度流程轉換成BPEL流程。依托SOA服務設計的應用層。

2.2.3數(shù)據(jù)表現(xiàn)層智能交通數(shù)據(jù)平臺系統(tǒng)中的表現(xiàn)層是使用者直接參與的界面，用戶可依托瀏覽器、平板、手機等終端設備瀏覽各種智能交通信息數(shù)據(jù)。該層主要任務是確保用戶與整個系統(tǒng)的交互性，因此，配備簡潔的外觀、界面框架、各單元控件等。

3智能交通數(shù)據(jù)分析平臺系統(tǒng)的應用

3.1智能交通數(shù)據(jù)共享及數(shù)據(jù)診斷

智能交通數(shù)據(jù)平臺系統(tǒng)各功能的實現(xiàn)離不開各模塊之間的信息整合與共享，因此，實現(xiàn)各模塊信息融合的主要方式就是創(chuàng)建信息共享平臺，這個平臺能支持相關子模塊功能提取所需的數(shù)據(jù)資源及信息共享服務。此外，一個完整的智能交通系統(tǒng)還必須配置智能交通信息中心、管理中心、智能交通基礎設備等，它能滿足城市交通信息規(guī)范化發(fā)展要求，包含各類信息性質、功能及傳送方法，組成相應的信息流機制，對共享的數(shù)據(jù)進行存儲和管理操作。依托大數(shù)據(jù)技術的相關功能，這些共享數(shù)據(jù)可以由日益變化的智能交通各數(shù)據(jù)信息提取出來，實現(xiàn)各地區(qū)、不同領域的數(shù)據(jù)庫實施綜合處理，將歷史數(shù)據(jù)遷移至大數(shù)據(jù)平臺下，還要保持數(shù)據(jù)的完整性及各種數(shù)據(jù)之間的關系可以理解。同時，可依據(jù)各模塊不同需求及相關關系為客戶提供各種數(shù)據(jù)信息服務，組織內部存儲各類數(shù)據(jù)直接輸出來，其他子系統(tǒng)保存相關數(shù)據(jù)從信息共享平臺提供一系列的查詢功能。此外，大數(shù)據(jù)平臺可以及時統(tǒng)計并輸出道路網(wǎng)絡的擁堵、事故情況，并能歸納為利于用戶決策的有用信息，例如：利用大數(shù)據(jù)分析，某個路口闖紅燈數(shù)量明顯少于平時，出現(xiàn)異常數(shù)據(jù)可以設置報警規(guī)則，提醒出現(xiàn)異常信息[2]。維護者對現(xiàn)場道路智能交通設施實施排查操作，判定是否存在設備故障。利用大數(shù)據(jù)技術直觀展現(xiàn)道路不均指數(shù)，提供最佳的信號機配時/相位方案，便于決策人員制定科學的決策。

3.2道路網(wǎng)延遲指數(shù)分析

依托大數(shù)據(jù)技術對各個路口/路段歷史流量進行統(tǒng)計，進一步分析路網(wǎng)的延遲指數(shù)。智能交通延遲指數(shù)求解方法是實際通過旅行時間與自由流通旅行時間相減，若所得數(shù)值為負數(shù)，則設定為0，表明并未發(fā)生延遲，并把這些數(shù)據(jù)映射至[0，10]數(shù)據(jù)區(qū)間之內。如果智能交通延遲指數(shù)較大，說明這個地點的擁堵情況更嚴重。左側向使用者展現(xiàn)設定日期、特點等交通延遲指數(shù)改變情況，來回移動水平滾動條，能夠及時查看不同時間段的延遲數(shù)據(jù)。左側展現(xiàn)路口、道路等級、行政區(qū)劃等各維度下相對應點的延遲指數(shù)和排名情況。通過綜合分析道路延遲指數(shù)，能夠為決策人員提供新建道路規(guī)劃等決策提供支持。

3.3道路路口組織優(yōu)化設計

篇（5）

中國分類號：TP311?1文獻標識碼：A文章編號：10053824（2013）03003004

0引言

物聯(lián)網(wǎng)（internet of things， IoT）是指將各種信息感知設備及系統(tǒng)通過接入網(wǎng)絡與互聯(lián)網(wǎng)結合起來而形成的巨大的智能網(wǎng)絡[12]。物聯(lián)網(wǎng)作為一次技術革命，代表了通信技術和計算技術的未來，被稱作繼計算機和互聯(lián)網(wǎng)之后，世界信息產業(yè)的第三次浪潮[3]，受到了世界各國政府和科研機構的廣泛關注[4]。

作為物聯(lián)網(wǎng)的主要支撐技術之一[5]，信息處理軟件直接影響著物聯(lián)網(wǎng)的用戶體驗及其進一步發(fā)展[67]。但是已有的物聯(lián)網(wǎng)數(shù)據(jù)處理軟件的功能較為單一，可擴展性不足，應用領域受限。為了改善物聯(lián)網(wǎng)數(shù)據(jù)處理軟件的功能性和擴展性，為用戶提供快速、高效的物聯(lián)網(wǎng)實時管控方案，本文設計并實現(xiàn)了一種模塊化的多功能的物聯(lián)網(wǎng)數(shù)據(jù)分析與處理軟件。該軟件采用模塊化設計，以VC++ 6.0作為主控模塊實現(xiàn)環(huán)境，便于在Windows系統(tǒng)環(huán)境下方便地使用本軟件；服務器采用Apache Tomcat 6.0搭建；數(shù)據(jù)庫模塊基于MySQL 6.0實現(xiàn)，以保證軟件的易擴展性和穩(wěn)定性；拓撲顯示模塊采用Flex和flash player ActivX 10.0進行開發(fā)，以改善用戶體驗。

1軟件的總體設計

1.1主要功能

本軟件旨在為用戶提供一套快速、高效的物聯(lián)網(wǎng)實時數(shù)據(jù)處理與管控方案，其主要功能包括以下幾個方面。

1）網(wǎng)絡數(shù)據(jù)解析和處理功能：軟件可對物聯(lián)網(wǎng)數(shù)據(jù)進行協(xié)議解析、分析、處理和存儲等操作，并同相鄰網(wǎng)絡層設備進行數(shù)據(jù)交互。

2）網(wǎng)絡數(shù)據(jù)的存儲功能：軟件可通過數(shù)據(jù)庫讀寫操作，將網(wǎng)絡重要歷史數(shù)據(jù)存儲于遠程數(shù)據(jù)庫中，并可進行讀取等操作，為物聯(lián)網(wǎng)網(wǎng)絡管理人員提供便利。

3）網(wǎng)絡拓撲顯示功能：軟件采用FLEX技術繪制目標物聯(lián)網(wǎng)網(wǎng)絡拓撲，并通過定時發(fā)送拓撲數(shù)據(jù)請求實現(xiàn)網(wǎng)絡拓撲狀態(tài)圖的實時更新，提供了優(yōu)越的用戶體驗。

4）網(wǎng)絡信息查詢和控制功能：本軟件集成了網(wǎng)絡節(jié)點信息的顯示、查詢能力，用戶可對網(wǎng)絡節(jié)點相關狀態(tài)進行針對性的查詢；同時，提供網(wǎng)絡屬性調整和節(jié)點控制功能，用戶可根據(jù)實際需要修改網(wǎng)絡節(jié)點參數(shù)，控制網(wǎng)絡運行情況。

1.2軟件系統(tǒng)總體架構

本軟件系統(tǒng)運行于C/S架構的服務器平臺上，作為遠端服務器控制軟件完成網(wǎng)絡監(jiān)聽與數(shù)據(jù)包接收、網(wǎng)絡數(shù)據(jù)分析處理、網(wǎng)絡拓撲狀態(tài)顯示以及節(jié)點信息查詢與控制等物聯(lián)網(wǎng)管控工作。系統(tǒng)總體組織架構圖如圖1所示。

圖1軟件總體架構圖軟件功能模塊主要由6個部分組成，分別是網(wǎng)絡通信模塊、參數(shù)設置模塊、數(shù)據(jù)處理模塊、拓撲顯示模塊、信息查詢模塊和數(shù)據(jù)庫交互模塊，如圖2所示。其中，網(wǎng)絡通信模塊完成底層的網(wǎng)絡通信工作；參數(shù)設置模塊接收并設定用戶輸入的軟件工作基本參數(shù)；數(shù)據(jù)處理模塊負責數(shù)據(jù)包的解析、判別和數(shù)據(jù)分類處理工作；拓撲顯示模塊負責為用戶提供網(wǎng)絡拓撲和節(jié)點簡要信息的顯示；信息查詢模塊為用戶提供網(wǎng)絡節(jié)點詳細屬性的查詢和節(jié)點控制；數(shù)據(jù)庫模塊負責完成網(wǎng)絡數(shù)據(jù)的存儲和查詢等工作。

圖2軟件系統(tǒng)功能模塊1.3軟件系統(tǒng)工作流程

本軟件功能模塊間的數(shù)據(jù)流關系如圖3所示。各模塊間通過相應接口完成網(wǎng)絡數(shù)據(jù)的上傳、分析與處理和控制命令的下發(fā)操作。首先，軟件接收來自網(wǎng)絡的各類型數(shù)據(jù)，并對其進行分類與解析。隨后，軟件將數(shù)據(jù)處理結果通過數(shù)據(jù)庫模塊進行存儲。在此基礎上，拓撲顯示模塊和信息查詢模塊分別通過查詢/更新數(shù)據(jù)庫進行信息顯示和用戶控制指令的下發(fā)操作。數(shù)據(jù)處理模塊和數(shù)據(jù)庫模塊掃描數(shù)據(jù)庫中的相應表項，提取控制信息后通過網(wǎng)絡通信模塊下發(fā)至目標網(wǎng)絡。

圖3軟件工作流程圖2主要功能模塊的實現(xiàn)

2.1網(wǎng)絡通信功能模塊

網(wǎng)絡通信模塊是本軟件的底層數(shù)據(jù)通信模塊，該模塊采用完成端口模型（I/O completion port， IOCP）作為本軟件的網(wǎng)絡服務引擎，由于IOCP規(guī)定了并行線程的數(shù)量，并使用線程池對線程進行管理，從而避免了反復創(chuàng)建線程和線程調度的開銷，提高了本軟件的并行處理能力。該模塊通過構造完成端口模型類（IOCPModeSvr），使用CreatIOCompletionPort（）函數(shù)創(chuàng)建完成端口對象；構造ListenProc（）函數(shù)監(jiān)聽來自物聯(lián)網(wǎng)感知層網(wǎng)絡網(wǎng)關節(jié)點的連接請求；使用bool CIOCPModeSvr：：SendMsg（）函數(shù)響應上層控制命令的下發(fā)要求，向客戶端發(fā)送控制命令幀。

2.2數(shù)據(jù)分析與處理功能模塊

數(shù)據(jù)處理模塊是物聯(lián)網(wǎng)數(shù)據(jù)分析與處理軟件的關鍵組成模塊之一。該模塊接收來自底層網(wǎng)絡模塊的數(shù)據(jù)幀，并進行分類、分析、處理及重構等操作，為上層數(shù)據(jù)應用奠定數(shù)據(jù)預處理基礎。通過創(chuàng)建DataProc類實現(xiàn)該模塊，具體包括：

1）通過內聯(lián)函數(shù)checkType（）快速解析由底層網(wǎng)絡上傳的數(shù)據(jù)幀的協(xié)議類型與數(shù)據(jù)類型；

2）構造getInt（）、getRangeString（）等函數(shù)完成數(shù)據(jù)幀的數(shù)據(jù)進制與格式轉換；

3）使用ProcessRecvData（）函數(shù)分析數(shù)據(jù)幀，重構出信息處理所需數(shù)據(jù)；

4）完成相應數(shù)據(jù)處理功能，主要包括數(shù)據(jù)聚類、數(shù)據(jù)計算、數(shù)據(jù)范圍判斷、數(shù)據(jù)異常的處理、反饋數(shù)據(jù)幀的構造。

2.3參數(shù)設置模塊

參數(shù)設置模塊是物聯(lián)網(wǎng)數(shù)據(jù)分析與處理軟件的系統(tǒng)參數(shù)初始化模塊，該模塊讀取用戶設置的軟件運行參數(shù)，并對軟件進行相應運行參數(shù)初始化。該模塊響應用戶參數(shù)設置操作，讀取參數(shù)并判斷參數(shù)是否有效。若參數(shù)設置有效，則對軟件相應運行參數(shù)進行修改，同時顯示軟件當前連接狀態(tài)，界面實現(xiàn)如圖4所示。

圖4參數(shù)設置界面

2.4數(shù)據(jù)庫與Web服務器

本軟件采用MySQL數(shù)據(jù)庫進行原始數(shù)據(jù)的存放，其中已經直接保存了經由數(shù)據(jù)分析與處理模塊上傳的全部數(shù)據(jù)，主要數(shù)據(jù)表包括：表node_topu_stat，用以存儲網(wǎng)絡所有原始拓撲信息；表node_info_stat，存儲網(wǎng)絡節(jié)點上傳的狀態(tài)信息；表control_stat，負責存儲用戶的查詢和控制指令。由于上層的拓撲展示模塊所需要的是最新的數(shù)據(jù)信息，因而需要Web服務器模塊將冗余的原始數(shù)據(jù)進行初步處理，為拓撲顯示模塊提供無冗余的信息，以實現(xiàn)基于拓撲圖的物聯(lián)網(wǎng)實時監(jiān)控。首先，通過對數(shù)據(jù)庫中各分類表加入觸發(fā)器實現(xiàn)數(shù)據(jù)的初步提取。其次，在本模塊中，數(shù)據(jù)處理模塊所生成的最新數(shù)據(jù)進一步轉換為能夠表示拓撲圖的XML文件，即將節(jié)點所上傳的鄰居表轉換為節(jié)點與邊的關系。本系統(tǒng)中使用了Web服務器所能支持的JSP技術實現(xiàn)了實時訪問數(shù)據(jù)庫生成轉換數(shù)據(jù)的功能，拓撲控制模塊直接訪問該頁面的地址，即可實現(xiàn)拓撲數(shù)據(jù)的獲取，如圖5所示。

圖5數(shù)據(jù)庫與Web服務器2.5拓撲顯示模塊

網(wǎng)絡拓撲顯示模塊是與用戶進行交互的主要模塊，用戶通過點擊“網(wǎng)絡拓撲”訪問拓撲展示模塊。該模塊通過定時向Web服務器數(shù)據(jù)處理模塊發(fā)起拓撲數(shù)據(jù)請求實現(xiàn)網(wǎng)絡拓撲的實時更新。通過向數(shù)據(jù)處理模塊獲取拓撲XML數(shù)據(jù)，圖形界面將其轉化為拓撲圖中的“節(jié)點”與“邊”的實際圖形對象，并將其他附加數(shù)據(jù)作為標簽保存在給節(jié)點，方便用戶查看。模塊工作流程及實現(xiàn)界面分別如圖6和圖7所示。

圖6拓撲顯示模塊圖7拓撲顯示界面2.6信息查詢與控制

本模塊中的查詢控制功能是指對物聯(lián)網(wǎng)可控節(jié)點發(fā)送控制指令。查詢控制指令與拓撲數(shù)據(jù)一樣，需要經過數(shù)據(jù)庫作為中轉，整個中轉回傳的代碼構成了控制模塊?？刂浦噶钚枰鶕?jù)實現(xiàn)指定的通信協(xié)議發(fā)送。在控制指令的收集窗口中，用戶可以進行相應的選擇，控制模塊負責將用戶在窗體中的選擇輸出至與數(shù)據(jù)庫相連的JSP頁面，并由JSP頁面將其存入數(shù)據(jù)庫中。網(wǎng)關通過定期與服務器通信獲得最新的操作指令，將其轉換為控制指令最終發(fā)送至物聯(lián)網(wǎng)節(jié)點，實現(xiàn)界面如圖8所示。

3結束語

本文設計并實現(xiàn)了一種多功能物聯(lián)網(wǎng)數(shù)據(jù)分析與處理軟件。該軟件通過網(wǎng)絡監(jiān)聽、數(shù)據(jù)分析處理、網(wǎng)絡拓撲顯示以及節(jié)點信息查詢與控制等功能模塊實現(xiàn)對物聯(lián)網(wǎng)數(shù)據(jù)的有效處理。通過將該軟件移植于實際物聯(lián)網(wǎng)應用環(huán)境，驗證了該軟件能夠快速、高效地處理網(wǎng)絡數(shù)據(jù)，且易于擴展，為多模異構網(wǎng)絡條件下的物聯(lián)網(wǎng)創(chuàng)新應用平臺構建提供了新的思路。

圖8信息查詢與控制界面

參考文獻：

[1]孫其博，劉杰，黎.物聯(lián)網(wǎng)：概念、架構與關鍵技術研究綜述[J].北京郵電大學學報，2010，33（3）：19.

[2]International Telecommunication Union. Internet reports 2005： the Internet of Things [R]. Geneva： ITU， 2005.

[3]劉強，崔莉，陳海明.物聯(lián)網(wǎng)關鍵技術與應用[J].計算機科學， 2010， 37（6）：110.

[4]劉云浩. 從普適計算、CPS到物聯(lián)網(wǎng)：下一代互聯(lián)網(wǎng)的視界[J]. 中國計算機學會通訊， 2009， 5（12）：6669.

篇（6）

1 背景

油液檢測技術是目前風電行業(yè)采用的重要監(jiān)測與診斷技術之一。油液檢測的方法很多，如：光譜油料分析法、紅外光譜分析法、顆粒計數(shù)法、油品理化分析法等。通過分析被監(jiān)測機組所使用的油液的性能變化和攜帶的磨損微粒的情況，可獲得機組的和磨損狀態(tài)的信息，評價機組的工況和故障預警，并確定故障原因、類型以及需要采用的維修管理策略。

新疆風能研究所油品檢測分析實驗室于2008年成立。實驗室以油品檢測分析業(yè)務為主，并擁有先進的油液分析實驗儀器，如艾默生CSI5200油液分析儀、美國熱電MOAⅡ元素光譜分析儀等，總投資近兩百萬元。2008年至今為新疆風能公司檢測3種機型23臺風力發(fā)電機的80余組齒輪箱油樣。目前一個油樣完成一次完整的油液分析后，不同設備獲取的數(shù)據(jù)存儲的種類不一，有文本、圖片、數(shù)據(jù)庫等，這些數(shù)據(jù)目前分散、雜亂，需要進行數(shù)據(jù)自動采集和整合，并集中導入到一個統(tǒng)一的數(shù)據(jù)庫中進行管理和分析，目前一些油液分析設備自帶的軟件主要是列出檢測結果數(shù)據(jù)，還不能滿足自動制作專業(yè)檢測報告，作出分析結論的要求。這就需要研發(fā)一套系統(tǒng)能夠實時采集并導入油液檢測數(shù)據(jù)結果，并科學管理油液檢測數(shù)據(jù)，并根據(jù)現(xiàn)場的要求，對數(shù)據(jù)進行科學分析，最終作出專業(yè)、權威的檢測報告。

目前新疆還沒有這樣一個風機油液檢測數(shù)據(jù)分析和管理的平臺系統(tǒng)，因此設計建立這樣一個系統(tǒng)有利于作為中國風電發(fā)祥地的新疆更好的做好風電技術服務工作，有效的為新疆的各大風電場的風機做好科學、快捷、專業(yè)的技術支撐。

2 系統(tǒng)構成及主要功能

該系統(tǒng)軟件主要由數(shù)據(jù)采集導入模塊，數(shù)據(jù)管理模塊，檢測報告設置模塊，分析模塊，參數(shù)設置模塊，報告輸出模塊等構成，系統(tǒng)硬件主要由數(shù)據(jù)采集器、數(shù)據(jù)庫服務器、WEB應用服務器、網(wǎng)絡通訊設備等構成。

數(shù)據(jù)采集導入模塊負責將各類油液分析設備檢測得到的數(shù)據(jù)通過數(shù)據(jù)采集器實時采集或通過導入方式輸入系統(tǒng)數(shù)據(jù)庫中，我們可以通過數(shù)據(jù)管理模塊進行檢測數(shù)據(jù)的手工錄入、編輯、刪除、查詢管理，通過報告設置模塊我們可以設置檢測報告的模式，分析模塊通過分析原始數(shù)據(jù)最終得出分析報告，其中用于分析和處理的參數(shù)在參數(shù)設置模塊中進行動態(tài)設置，油液檢測報告由報告輸出模塊進行文件導出和打印輸出，該報告經過油品檢測分析實驗室簽字蓋章后形成權威的檢測報告，整個系統(tǒng)的數(shù)據(jù)可以通過WEB應用服務器到公用網(wǎng)絡中去，用戶可隨時在任意一個地點通過網(wǎng)絡可以訪問該系統(tǒng)，查詢獲取油液檢測信息，并獲得檢測報告結果。

3 系統(tǒng)實現(xiàn)和部署

本系統(tǒng)硬件主要有：tplink無線路由，Dell應用服務器，檢測計算機，MOXA NP-5230串口服務器，PKTH300A-ACZ1溫濕度變送器等，變送器和監(jiān)測計算機之間采用MODBUS通訊協(xié)議，并轉換成網(wǎng)絡協(xié)議進行無線通信。監(jiān)測計算機和服務器之間主要采用TCP/IP協(xié)議進行連接。軟件主要采用自主開發(fā)的平臺應用系統(tǒng)，系統(tǒng)本還提供基于SOAP、WSDL、UDDI協(xié)議的Web Service服務。

本系統(tǒng)建成后，希望實現(xiàn)以下油液檢測基本流程：

⑴在網(wǎng)頁客戶端登記委托單+多個樣品（不同用戶權限不同）。

⑵樣品入庫（主要信息有：待檢庫，已檢庫，記錄人員、時間，檢測量），出庫（人員，時間，檢測量）。

⑶啟動CSI、MOAII設備進行樣品檢測。

⑷獲取當前檢測數(shù)據(jù)

⑸查找選擇委托單，填寫樣品編號，保存檢測數(shù)據(jù)

⑹樣品是否檢測完，未完繼續(xù)4，已完繼續(xù)

⑺完成檢測。

⑻剩余樣品入庫（樣品，原始記錄）

⑼出具檢測原始記錄單

⑽出具檢測報告單

本系統(tǒng)可以自動生成檢測報告，所做報告能根據(jù)表1進行報警標識。

4 展望

篇（7）

中圖分類號：TS941 文獻標志碼：A

The Influence of Industry Big Data Analysis on New Models of Design Thinking

Abstract： Based on discussing big data analyzing technology as well as enterprise case studies and tracking surveys， the paper states that such data analyzing technology will facilitate the generation of new models of design thinking， which will more rely on Internet technology， and systematically reorganize complicated resources and information into data that can be further used as an important guidance for new product design. These data will help enterprises realize cooperation of various participants， information sharing and tier management in the process of product design and R&D and improve the efficiency and benefits of their design and R&D system.

Key words： data analysis； design thinking； market positioning； precision marketing

在全球服裝紡織業(yè)格局中，中國還處于起步探索階段，缺少真正有市場競爭力的自主設計品牌。企業(yè)們普遍缺乏高效務實的設計創(chuàng)新能力，成為了我國服裝紡織行業(yè)的發(fā)展短板。面對國際品牌的激烈競爭，企業(yè)們需要建立自己的新型設計思維模式。更加適應市場需求的新設計思維將是一套有理有據(jù)、高效靈敏的產品設計與管理系統(tǒng)，這將有助于企業(yè)們更超前的把握市場發(fā)展動態(tài)，更精準的分析產品的優(yōu)劣勢，更合理的籌劃銷售策略，更敏銳的找到未來商業(yè)機會從而打造企業(yè)及品牌的市場競爭實力。

目前在經濟發(fā)達國家的服裝產業(yè)中，類似的研究已經進行到了比較成熟的階段，如法國的Lectra（力克）公司，通過將其CAD/CAM 、三維技術與互聯(lián)網(wǎng)技術的結合，進行最優(yōu)化的數(shù)據(jù)傳輸，可以滿足企業(yè)在整個生產過程中從服裝系列設計到視覺化銷售的所有環(huán)節(jié)的需求。力克公司的發(fā)展資料為本文的研究提供了非常有價值的可參考實例。

1 針對服裝紡織產業(yè)大數(shù)據(jù)分析技術的研究

服裝紡織產業(yè)大數(shù)據(jù)分析技術是基于互聯(lián)網(wǎng)大數(shù)據(jù)分析的專業(yè)服裝設計和生產管理輔助工具。該分析技術采用的是個性化分布式數(shù)據(jù)挖掘技術，通過對互聯(lián)網(wǎng)海量真實的服裝銷售數(shù)據(jù)的分析，監(jiān)控并分析網(wǎng)站，采用JAVA語言對網(wǎng)站中各種內容信息進行智能化的分析和挖掘，多維度、全方位對服裝屬性數(shù)據(jù)進行篩選，可甄別出不同時間段、不同地域、不同年齡層次、不同性別甚至不同消費習慣的服裝購買者對服裝顏色、款式、面料、尺寸等屬性的偏好，并形成直觀易懂的可視化報表，從而對設計和生產管理者形成指導，更加方便直接的形成“設計指導書”或者“生產指導書”。能夠使產品更加符合品牌特征和市場需求，極大地提高設計生產效率，減少成本與避免試錯風險。

在數(shù)據(jù)分析技術的層面上，它是基于html的個性化分布式數(shù)據(jù)挖掘系統(tǒng)。核心內容是監(jiān)控并分析網(wǎng)站，生成Excel表格形式的報表，報表包含關鍵詞和網(wǎng)站的鏈接地址。這種分析為采用Java語言對網(wǎng)站中的各種內容信息進行智能化的分析與挖掘。相當于目標網(wǎng)站名單讀取模塊，采用Excel表格存儲目標網(wǎng)站列表和關鍵詞，并且用Java語言讀取信息，并利用web界面即時呈現(xiàn)監(jiān)控結果。

2 服裝紡織產業(yè)大數(shù)據(jù)分析技術對設計思維影響的實例研究

參與本次研究項目的北京相與文化發(fā)展有限公司，是一家由中法意等多國設計師和業(yè)內人士組成的專業(yè)服裝紡織品品牌孵化和設計營銷整合機構。

2014年公司開始進行自主開發(fā)和使用基于互聯(lián)網(wǎng)的服裝設計大數(shù)據(jù)分析系統(tǒng)，如圖 1 所示，針對某款產品的數(shù)據(jù)分析結果，將對設計工作產生重要的引導作用。設計師們會根據(jù)數(shù)據(jù)分析結果來判斷設計思路是否合理，改變了傳統(tǒng)設計流程中過于強調設計師主觀感受的不穩(wěn)定性，將基于互聯(lián)網(wǎng)的海量數(shù)據(jù)經過精準的篩選和整理，生成直觀可視化的數(shù)據(jù)報表，并且形成多點共享和分級管理的平臺化工具，將設計研發(fā)流程模塊化，迅速找到針對市場切實有效的產品設計賣點和營銷方式，可以極大地提高服裝設計師和生產管理者的工作效率，降低了設計研發(fā)成本并有效減少了企業(yè)在新品設計研發(fā)方面的試錯風險。

為了調研資料的充分性和客觀性，本論文還調研了參與10家生產銷售與男士T恤相關的服裝企業(yè)。在男士T恤這個產品品類的設計開發(fā)之前，這些企業(yè)想去了解該產品的設計研發(fā)方向的需求集中體現(xiàn)在以下幾個方面，如基礎風格、花型圖案、面料材質、款式細節(jié)和服飾工藝等；并且在這幾個需求里面，關于花型圖案的調研量最大，這個環(huán)節(jié)也就成為了企業(yè)們最為關注的問題所在，另外占比量22%位居其次的款式細節(jié)，也成了男士T恤的另一個設計重點。以上調研的數(shù)據(jù)比例圖示（圖2），充分證明了企業(yè)對產品的設計研發(fā)方向的設定，是有著比較明晰準確的需要點的，占比29%的企業(yè)都認為要將花型圖案作為男士T恤的設計重點。如果通過產業(yè)數(shù)據(jù)分析技術，能比較清楚地告知這些企業(yè)，在服裝設計研發(fā)的時候，是否要優(yōu)先關注哪些方面以及如何把握這些方面的設計工作，這無疑對企業(yè)把控產品與市場需求的貼合度方面是有重要幫助的。

3 產業(yè)大數(shù)據(jù)分析技術對新型設計思維模式的影響

“積累、效率、協(xié)作、降本”―― 代表著新型設計思維模式核心要素的，將給產品的設計研發(fā)思維帶來全新突破，將有力地幫助中國數(shù)以萬家企業(yè)將設計真正轉化為生產力并最終打造核心競爭能力，完善品牌體系并全面提升品牌價值。

將與產品相關的市場數(shù)據(jù)進行搜集整理和分析，在互聯(lián)網(wǎng)大數(shù)據(jù)分析技術的幫助下，找到對企業(yè)的產品設計研發(fā)最具有參考價值的類比信息，不同于傳統(tǒng)設計模式的主觀化和分散化，新一代的設計思維模式需要將資源和信息模塊化，形成支持系統(tǒng)；從而在企業(yè)的整體產品設計研發(fā)流程中實現(xiàn)多點協(xié)作、信息共享和分級管理，極大地提高了流程的效率，降低了錯誤判斷市場導向帶來的經營風險，節(jié)省了設計開發(fā)的時間和成本，同時新型設計思維模式又會強化對于流程中每個環(huán)節(jié)的工作指標的評估，從而達成有效良性的管理機制。

篇（8）

關鍵詞： Excel軟件；數(shù)據(jù)處理；數(shù)據(jù)管理；金屬電子逸出功

Key words： Excel software；data processing；data management；metal electric work function

中圖分類號：TP274；O4—39 文獻標識碼：A 文章編號：1006—4311（2012）27—0216—03

0 引言

在物理實驗尤其是近代物理實驗以及科學研究中，經常產生大量測量數(shù)據(jù)，經過記錄、整理、計算、繪圖、分析等大量復雜繁瑣的數(shù)據(jù)處理后，方能給出科學結論。傳統(tǒng)方法往往是手工處理大量數(shù)據(jù)，最終僅在坐標紙上描點繪圖。因此效率低，易出錯，誤差大，甚至影響結論的準確性。

隨著計算機迅速發(fā)展，數(shù)據(jù)分析處理的軟件實現(xiàn)和應用也逐漸成為每個科研工作者必須掌握的一門技術。常見的數(shù)據(jù)處理軟件如Origin、MATLAB、SPSS等功能強大，專業(yè)性強，對使用者有較高要求，而Excel直觀易學，使用方便，數(shù)據(jù)處理過程簡單，無需精通計算機編程，因此成為處理物理實驗數(shù)據(jù)的首選工具。

Excel集數(shù)據(jù)表格、圖表和數(shù)據(jù)庫三大基本結構功能于一身，還提供了大量函數(shù)，用戶可通過這些函數(shù)進行統(tǒng)計管理、線性分析等工作[1—3]。并能很方便地將數(shù)據(jù)處理過程的基本單元制成電子模板，使用時只要調出相應的模板，輸入原始數(shù)據(jù)，激活相應的功能按鈕，就能得到實驗作圖要求的各項參數(shù)。

1 電子逸出功的測量原理簡介

由費米—狄拉克能量分布公式可得到熱電子發(fā)射的里查遜—熱西曼公式[4] I=AST2exp（—■）（1）

式中I是加速電壓為零時熱電子發(fā)射電流，稱零場電流。A與陰極材料有關，S為陰極有效發(fā)射面積，T為發(fā)射熱電子的陰極絕對溫度（該溫度與加熱電流對應關系可查表）。實際測量中采用理查遜直線法避開A、S測量，將（1）式兩邊除以T2，再取對數(shù)得

1g■=1gAS—■=1gAS—5.04×103？漬■（2）

可見，1g■與■成線性關系，由斜率即可求出該金屬的逸出電位？漬或逸出功e？漬。

由于肖特基效應，零場電流I與陰極發(fā)射電流Ia、加速電壓Ua有

1gIa=1gI+■■■（3）

式中Ia是加速電壓Ua為時陰極發(fā)射電流，r1和r2分別是陰極和陽極半徑。幾何尺寸一定的管子，陰極溫度T一定時，1gIa與■成線性關系，截距為1gI。

實驗一般在7個不同溫度值采集49組電壓和電流值，根據(jù)公式（3）進行7次直線擬合，采用直線外延法分別找出7個溫度對應的零場電流對數(shù)1gI，之后再根據(jù)公式（2）進行1g■～■直線擬合，找出該直線斜率，進而求出該金屬的逸出功e？漬。計算公式繁瑣，圖表較多，數(shù)據(jù)處理困難。

2 設計思路

本設計旨在實現(xiàn)數(shù)據(jù)的記錄管理和分析處理。使用者僅需錄入測量數(shù)據(jù)并保存，系統(tǒng)便自動生成處理結果以及相關圖表。保存后可獲得原始測量數(shù)據(jù)備份，避免隨意篡改偽造測量數(shù)據(jù)；同時，又可形成一個數(shù)據(jù)信息庫，為使用者查詢測量數(shù)據(jù)提供便利。

基于以上構思，數(shù)據(jù)錄入和數(shù)據(jù)處理作為兩個獨立且關聯(lián)的模塊，分別出現(xiàn)在兩個工作表中。數(shù)據(jù)錄入模塊將個人信息和測量數(shù)據(jù)輸入電腦，除必要輸入欄目，使用者沒有權限更改其他選項。處理分析模塊的數(shù)據(jù)來自于對管理模塊的鏈接，包括數(shù)據(jù)處理的中間過程和最終處理結果，為了便于管理還應包含使用者的基本信息。流程如圖1。

3 基于Excel實現(xiàn)測量數(shù)據(jù)的錄入和管理

本測量采用西安超凡光電設備有限公司W(wǎng)H—I型金屬鎢電子逸出功測量儀完成。

打開Excel，創(chuàng)建新工作表，該工作表作為數(shù)據(jù)記錄用表，命名為“原始數(shù)據(jù)”。根據(jù)測量原理和要求，該工作表由基本信息、數(shù)據(jù)記錄、溫度對照表三個部分組成，如圖2。

此工作表A1—H3為使用者基本信息，其中G2單元格輸入的內容為“=TODAY（）”，可獲取當前系統(tǒng)日期。A6—H12為數(shù)據(jù)Ia、Ua記錄欄。A14—H17為“加熱電流If與鎢絲真實溫度對照表”，數(shù)據(jù)處理過程中需查此表獲得陰極燈絲溫度。

篇（9）

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2017）03-0016-03

Design and Implementation of Energy Saving Potential Data Analysis System for Iron and Steel Enterprises Based on Hadoop

WANG Cheng-hui， WANG Jian， DAI Yi-ru

（CIMS Research Center，Tongji University， Shanghai 201804， China）

Abstract： In order to improve the level of energy consumption of iron and steel enterprises， put forward a kind of energy saving potential of big data analysis based on Hadoop system construction method， and application of the system， an example proves that the method analysis in the energy saving potential of the iron and steel enterprise， has the characteristics of convenient operation and easy popularization.

Key words： energy saving potential； big data analysis； Hadoop

我國做為能耗大國，能源消耗量十分巨大，然而，能源利用率卻遠遠低于發(fā)達國家，這個問題嚴重制約了國家可持續(xù)發(fā)展戰(zhàn)略的落實。鋼鐵企業(yè)作為國民經濟的支柱產業(yè)，提高鋼鐵企業(yè)的能耗水平，對我國建設“資源節(jié)約型”國家戰(zhàn)略部署具有重大意義。然而，我國鋼鐵企業(yè)的能耗水平與發(fā)達國家相比，仍然存在著十分巨大的差距。面向我國鋼鐵工業(yè)節(jié)能減排發(fā)展目標，針對其生產過程中的高能耗、高排放的運行特點，不斷挖掘自身的節(jié)能潛力，在保證鋼鐵生產質量和產量的前提下減少能源的消耗量，提高企I的能耗水平。加熱爐是鋼鐵企業(yè)重點能耗設備，是軋鋼生產的主要耗能設備，其能耗占軋鋼工序能耗的60%―70%，因此，提高加熱爐的能耗水平對鋼鐵企業(yè)節(jié)能起到至關重要的作用。本文通過分析鋼鐵企業(yè)加熱爐生產過程產生的海量能耗數(shù)據(jù)，利用本體建模技術構建鋼鐵企業(yè)加熱爐本體模型，并將本體模型與加熱爐能耗數(shù)據(jù)進行數(shù)據(jù)映射，利用比較流行的大數(shù)據(jù)分析技術，構建加熱爐生產能耗模型，從中挖掘出加熱爐能耗規(guī)律，進而分析出加熱爐的節(jié)能潛力所在，并給出加熱爐生產過程中的最佳工況參數(shù)去填補這部分的節(jié)能潛力。

1 系統(tǒng)構建

系統(tǒng)設計思路可以概括為：首先進行系統(tǒng)數(shù)據(jù)準備，然后將原始數(shù)據(jù)進行數(shù)據(jù)預處理，接著對處理后的高品質數(shù)據(jù)進行數(shù)據(jù)分析，最后挖掘出數(shù)據(jù)背后隱藏的價值找出節(jié)能潛力所在，并找出最佳工況參數(shù)彌補這部分節(jié)能潛力所在。具體由以下六部分組成。

圖1 系統(tǒng)總體架構

1.1 數(shù)據(jù)準備

數(shù)據(jù)采集負責將數(shù)據(jù)從業(yè)務系統(tǒng)采集到大數(shù)據(jù)分析系統(tǒng)。數(shù)據(jù)采集工作本身不在Hadoop分析平臺中，但是在整個分析系統(tǒng)中起著重要的作用，起著橋梁作用，連接業(yè)務系統(tǒng)和分析系統(tǒng)，將業(yè)務系統(tǒng)與分析系統(tǒng)實現(xiàn)了解耦。企業(yè)由于生產管理的需要對于有些數(shù)據(jù)甚至只有紙質記錄，因此第一步需要將這些生產數(shù)據(jù)進行整合，將這些紙質數(shù)據(jù)進行電子化。數(shù)據(jù)準備是為分析系統(tǒng)提供數(shù)據(jù)支撐，是整個系統(tǒng)的基礎模塊。

1.2 分布式存儲

分布式文件系統(tǒng)（The Hadoop Distributed File System，HDFS）是一個運行在普通的組件集群上的分布式文件系統(tǒng)，它是HADOOP框架主要的存儲系統(tǒng)。由于HADOOP具有高數(shù)據(jù)吞吐量、高度容錯的特性，因此使得其具有很高的效能。HDFS還為數(shù)據(jù)存儲提供了包括API以及各種操作命令等多種訪問接口。使用HDFS，我們可以為海量的原始數(shù)據(jù)集提供存儲空間，對臨時文件進行存儲，為數(shù)據(jù)預處理、數(shù)據(jù)分析提供輸入數(shù)據(jù)，同時也可以將分析輸出的數(shù)據(jù)存入到HDFS中。HDFS采用master/slave架構。通常情況下，一個名稱節(jié)點NameNodes和若干個數(shù)據(jù)節(jié)點DataNodes便可構成一個HDFS數(shù)據(jù)集群。Namenode是一個中心服務器，負責管理文件系統(tǒng)的名字空間（namespace）以及客戶端對文件的訪問。在HDFS集群中，每一個文件都會被劃分為一個或幾個數(shù)據(jù)塊（blocks）分別保存在不同的數(shù)據(jù)節(jié)點DataNode中。集群中的Datanode主要負責管理它所在節(jié)點上的存儲。HDFS將文件系統(tǒng)的名字空間暴露給用戶，用戶可以以文件的形式在上面存儲數(shù)據(jù)。

1.3 數(shù)據(jù)預處理

大數(shù)據(jù)分析本身就是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中，分析出隱藏在數(shù)據(jù)背后的規(guī)律和價值。因此，需要對這些有噪聲的、不一致的數(shù)據(jù)源，進行數(shù)據(jù)預處理操作。數(shù)據(jù)預處理主要是為分析系統(tǒng)提供高品質的數(shù)據(jù)。數(shù)據(jù)抽取主要是從原始數(shù)據(jù)中選出與分析目標有關聯(lián)的數(shù)據(jù)源。如果不能排除無關的數(shù)據(jù)屬性，既會增加數(shù)據(jù)分析的復雜度，也會提高數(shù)據(jù)分析的時間，同時會降低數(shù)據(jù)分析的準確性。數(shù)據(jù)清洗主要是解決數(shù)據(jù)的空缺值、錯誤數(shù)據(jù)、孤立數(shù)據(jù)點、數(shù)據(jù)噪聲問題。其中對數(shù)據(jù)空缺值和錯誤數(shù)據(jù)是進行處理是數(shù)據(jù)清洗的重點，而后兩者因為有可能在其中發(fā)現(xiàn)某些特殊的數(shù)據(jù)規(guī)律，因此可以暫時不需要進行數(shù)據(jù)處理。

1.4 本體模型構建

本體是概念化的明確的規(guī)范說明。能夠描述類、實例以及它們的屬性是如何定義、描述和關聯(lián)的，是對領域中的概念及概念之間聯(lián)系的顯式描述。詳細來說，就是要描述一個領域需要哪些概念，概念由哪些屬性標識，屬性又具有什么約束，概念對應于哪些實例。并將本體模型與具體數(shù)據(jù)屬性進行映射，為數(shù)據(jù)分析提供數(shù)據(jù)源。

1.5 分布式計算框架

分布式計算框架是大數(shù)據(jù)分析系統(tǒng)的核心功能，分布式計算可以使用多臺服務器同時進行數(shù)據(jù)計算，可以很大程度提高數(shù)據(jù)分析的效率。基于Hadoop的大數(shù)據(jù)分析系統(tǒng)主要采用的是MapReduce分布式編程模型。該模型簡單易用，對于程序員來說在沒有了解其底層實現(xiàn)細節(jié)的情況下仍能夠寫出處理海量數(shù)據(jù)的程序。MapReduce首先通過Map程序將海量數(shù)據(jù)分割成多個小區(qū)塊，將其分配給大量服務器進行處理；然后將處理結果交給Reduce，最后Reduce將處理結果匯總后輸出到客戶端。

1.6 分析結果展示

分析結果可視化，主要是給用戶提供一個友好的、直觀的方式查看分析系統(tǒng)進行大數(shù)據(jù)分析以后得到的分析結果。

2 系統(tǒng)應用

加熱爐是鋼鐵企業(yè)重點能耗設備，是軋鋼生產的主要耗能設備，因此提高加熱爐的能耗水平對鋼鐵行業(yè)節(jié)能具有重要意義?，F(xiàn)以某大型鋼鐵企業(yè)步進式加熱爐為例進行系統(tǒng)構建應用。在軋鋼生產中，必須將鋼坯加熱到一定的溫度，才能對鋼坯進行軋制。對鋼坯進行加熱的設備就是加熱爐。步進式加熱爐是依靠步進梁的順序、往復運動使得加熱爐鋼坯從爐尾移動到出料口，中間經過預熱段、加熱段、均熱段。最終使得鋼坯達到規(guī)定的溫度后出爐。加熱爐在生產過程中產生海量的數(shù)據(jù)，利用HDFS實現(xiàn)海量的能耗數(shù)據(jù)的分布式存儲，通過本體建模技術實現(xiàn)加熱爐本體模型構建與數(shù)據(jù)屬性映射，為大數(shù)據(jù)分析提供數(shù)據(jù)源；系統(tǒng)的分析主要是通過在MapReduce分布式分析模型上運用線性回歸、遺傳算法等對Hadoop平臺篩選出來的數(shù)據(jù)進行分析，從而挖掘海量數(shù)據(jù)背后隱藏的能耗模型，挖掘加熱爐的節(jié)能潛力，分析加熱爐的最佳工況運行參數(shù)，提高加熱爐的能耗水平，構建加熱爐大數(shù)據(jù)節(jié)能潛力分析系統(tǒng)。系統(tǒng)主要模塊如下：

1）大數(shù)據(jù)管理：本體模型、大數(shù)據(jù)管理；

2）工藝參數(shù)模型：工藝參數(shù)模型；

3）工藝參數(shù)模型管理：工藝參數(shù)模型管理；

4）工藝優(yōu)化：工藝模型⑹配置、工藝優(yōu)化。

2.1 大數(shù)據(jù)管理

大數(shù)據(jù)管理主要實現(xiàn)對加熱爐生產能耗數(shù)據(jù)提供統(tǒng)一的接入接口，并對加熱爐實現(xiàn)本體建模與數(shù)據(jù)映射，為數(shù)據(jù)分析提供數(shù)據(jù)源。

2.2 工藝參數(shù)模型

工藝參數(shù)模型主要是運用大數(shù)據(jù)管理模塊提供的一致性的多源數(shù)據(jù)，運用大數(shù)據(jù)處理的智能分析能力，通過運用神經網(wǎng)絡算法對海量的數(shù)據(jù)進行深度挖掘，提取出數(shù)據(jù)背后潛在的工藝能耗模型，為面向節(jié)能減排的工藝分析與參數(shù)優(yōu)化提供能耗模型。

2.3 工藝參數(shù)模型管理

工藝參數(shù)模型管理主要是對已經構建完成的模型實現(xiàn)直觀的管理與展示工作。用戶可以根據(jù)需要對已經存在的模型進行在線編輯，而且模型編輯完成進行保存導數(shù)據(jù)庫以后可以為工藝參數(shù)優(yōu)化提供優(yōu)化模型。

2.4 工藝優(yōu)化

實現(xiàn)對模型參數(shù)進行配置，利用工藝模型參數(shù)配置的參數(shù)范圍與工藝能耗模型模塊構建的模型最為輸入，通過使用遺傳算法對加熱爐運行工況參數(shù)進行模型尋優(yōu)，從而找出加熱爐面向節(jié)能減排的最佳工況運行參數(shù)。

3 結束語

本系統(tǒng)在Hadoop平臺下可以方便地實現(xiàn)數(shù)據(jù)的分布式存儲、管理和查看，為企業(yè)歷史生產能耗數(shù)據(jù)的管理和分析提供方便，利用MapReduce分布式計算模型，運用線性回歸、遺傳算法通過對生產能耗數(shù)據(jù)進行分析、優(yōu)化，從而找出數(shù)據(jù)背后隱藏的價值與節(jié)能潛力所在，輸出最佳工況參數(shù)，彌補這部分節(jié)能潛力。因此，所述方法對于挖掘鋼鐵行業(yè)節(jié)能潛力并實現(xiàn)節(jié)能降耗有著重要的現(xiàn)實意義和應用價值，具有方便操作、易于推廣的特點。

參考文獻：

[1] 高洪， 楊慶平， 黃震江. 基于Hadoop平臺的大數(shù)據(jù)分析關鍵技術標準化探討[J]. 信息技術與標準化， 2013（5）： 27-30.

[2] 菅志剛， 金旭. 數(shù)據(jù)挖掘中數(shù)據(jù)預處理的研究與實現(xiàn)[J]. 計算機應用研究， 2004（7）： 117-118，157.

[3] 楊軍， 徐鐵軍. 鋼鐵企業(yè)節(jié)能潛力分析[C]// 中國金屬學會， 冶金循環(huán)經濟發(fā)展論壇論文集. 中國金屬學會， 2008： 4.

篇（10）

大型供應鏈管理服務商通常具備多條成熟的運輸線路以及遍布全國的貨物倉庫，企業(yè)日益擴大的交易規(guī)模和業(yè)務范圍，各地倉儲和物流運輸每日可采集豐富的交易、物流、倉儲、供應商等數(shù)據(jù)，單一的企業(yè)ERP系統(tǒng)只能完成資源管理，對于海量數(shù)據(jù)的分析和企業(yè)更高要求的數(shù)據(jù)分析能力有限，于是，企業(yè)智慧倉儲大數(shù)據(jù)平臺應運而生。

本文提出的智慧倉儲運營支撐平臺，運用了先進的RFID技術、視頻分析技術及大數(shù)據(jù)分析技術，不僅解決了分散在各處的倉庫智慧化管理，還可將倉庫和物流各類運營及管理基礎數(shù)據(jù)同步上傳至大數(shù)據(jù)平臺，實現(xiàn)倉庫運營和管理信息資源的整合與共享，并依托各類基礎信息庫，為企業(yè)管理者提供智能決策支持。

1 智慧倉儲運營支撐平臺

智慧倉儲運營支撐平臺是一個功能完備的基礎平臺，系統(tǒng)架構如下圖所示，分五層結構：感知層、傳輸層、數(shù)據(jù)層、服務層和應用層。

1.1 感知層

包括RFID讀寫器、激光雷達、視頻終端、門禁對講、溫濕度傳感器和警報器。

1.2 傳輸層

采用有線局域網(wǎng)或WIFI無線通信方式與支撐平臺連接并傳輸數(shù)據(jù)。

1.3 數(shù)據(jù)層

包括設備信息庫、業(yè)務信息庫、監(jiān)控信息庫和人員信息庫。

1.4 服務層

包括RFID中間件、ESB總線和第三方接口等模塊，為整個系統(tǒng)的運行提供服務支撐。

1.5 應用層

包括倉庫的業(yè)務管理、安防管理、人員管理、報表分析和系統(tǒng)管理等功能。

通過智慧倉儲運營支撐平臺可實現(xiàn)對貨物入庫、出庫、移庫、盤點等基本業(yè)務的智能化處理，其中，視頻分析技術還可實現(xiàn)倉儲的安防管理、人員管理等功能，不僅實現(xiàn)了對倉庫的智能化管理，還能夠收集物流和倉儲的各個生產過程和任務執(zhí)行中產生的運營數(shù)據(jù)，作為大數(shù)據(jù)分析平臺數(shù)據(jù)源的重要組成部分，為企業(yè)實現(xiàn)智能分析提供了基礎。

2 智慧倉儲大數(shù)據(jù)應用

智慧倉儲運營支撐平臺將各地的倉儲運營數(shù)據(jù)統(tǒng)一上傳至企業(yè)大數(shù)據(jù)平臺，進行分類和對分散及重復數(shù)據(jù)進行篩選、匯總、抽取、挖掘、分析形成物流與倉儲有價值的大數(shù)據(jù)，便可應用于企業(yè)管控和管理全過程的協(xié)調、管理、協(xié)同、決策。大數(shù)據(jù)平臺架構如下圖所示，分為數(shù)據(jù)源、大數(shù)據(jù)獲取、大數(shù)據(jù)處理、大數(shù)據(jù)服務四層。

數(shù)據(jù)源層主要實現(xiàn)采集前端各類感知設備以及各倉儲運營平臺數(shù)據(jù)。

大數(shù)據(jù)獲取層實現(xiàn)結構化數(shù)據(jù)、非結構化數(shù)據(jù)、半結構化數(shù)據(jù)的導入導出。

大數(shù)據(jù)處理層實現(xiàn)數(shù)據(jù)的分布式存儲和并行計算，并統(tǒng)一提供資源的調度服務、訪問服務、管理監(jiān)控服務和權限控制服務等。

大數(shù)據(jù)應用層實現(xiàn)物流運輸調度、儲位管理、可追溯管理、精準營銷等各類智慧化應用。

2.1 運輸調度

通過大數(shù)據(jù)優(yōu)化任務發(fā)運計劃，使運輸任務最大程度地銜接起來，達到整個運輸網(wǎng)絡任務協(xié)調排程，合理組織運輸工作和車輛調配，提高運輸調度水平。

2.2 儲位管理

通過對產品的進出貨數(shù)據(jù)進行分析、整理、分類，深度挖掘不同類別之間的相關關系，再配合波次作業(yè)手段，優(yōu)化揀貨單，提高倉儲工作效率。

2.3 可追溯管理

借助大數(shù)據(jù)平臺智能分析及智慧倉儲前端采集信息，建立產品檔案，全面直觀地展示品牌形象，借助供應鏈系統(tǒng)與電子商務交易平臺，實時監(jiān)督產品生產、交易和運輸全過程。

2.4 精準營銷

通過收集各個電子商務平臺上同類產品的銷售價格、數(shù)量、潛力，以及老客戶的個人資料、交易行為、忠誠度等信息，同時深度挖掘潛在客戶，制定一些優(yōu)惠政策，激發(fā)購買的積極性，定向推送產品信息，實現(xiàn)精準營銷。

3 結束語

基于大數(shù)據(jù)分析的智慧倉儲運營支撐平臺，適用于擁有多個分散倉庫的大型企業(yè)，不僅使倉庫管理者能夠及時掌握倉庫運行情況，更將大數(shù)據(jù)技術應用到物流領域，對于建設智能倉儲體系，優(yōu)化物流運作流程，提升物流倉儲的自動化、智能化水平有著積極的推進作用。

參考文獻

[1]肖建輝.淺談倉儲管理[J].物流工程與管理，2010，32（06）：130-132.

[2]張仁彬，李玉民.基于物聯(lián)網(wǎng)技術倉儲管理系統(tǒng)研究[J].物流科技，2011（06）：35-38.