序論：好文章的創(chuàng)作是一個(gè)不斷探索和完善的過程，我們?yōu)槟扑]十篇計(jì)算機(jī)爬蟲技術(shù)范例，希望它們能助您一臂之力，提升您的閱讀品質(zhì)，帶來更深刻的閱讀感受。

篇（1）

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）07-0061-03

信息和知識(shí)爆炸增長(zhǎng)的時(shí)代，搜索引擎成為人們獲取信息的重要工具。搜索引擎釋放出來的網(wǎng)絡(luò)爬蟲會(huì)大量占用互聯(lián)網(wǎng)帶寬，很可能在短時(shí)間內(nèi)導(dǎo)致網(wǎng)站訪問速度緩慢，甚至無法訪問。應(yīng)對(duì)此種情況，許多網(wǎng)站采取了一些措施來攔截網(wǎng)絡(luò)爬蟲的爬取。本文在分析網(wǎng)絡(luò)爬蟲原理的基礎(chǔ)上，針對(duì)“反爬”網(wǎng)站提出了一些有效的爬取策略。

1網(wǎng)絡(luò)爬蟲概述

網(wǎng)絡(luò)爬蟲是抓取網(wǎng)頁(yè)信息的一種程序，它可用來檢查一系列站點(diǎn)的有效性，當(dāng)按照需求抓取并保存數(shù)據(jù)時(shí)，是搜索引擎的重要組成部分。它還可以定向采集某些網(wǎng)站下的特定信息，比如招聘、二手買賣等信息。

網(wǎng)絡(luò)上的網(wǎng)頁(yè)許多都由超鏈接連接，故形成了一張網(wǎng)，網(wǎng)絡(luò)爬蟲因此也叫做網(wǎng)絡(luò)蜘蛛，順著網(wǎng)爬，每到一個(gè)網(wǎng)頁(yè)就抓取信息并抽取新的超鏈接，用于進(jìn)一步爬行的線索。網(wǎng)絡(luò)爬蟲爬行的起點(diǎn)叫做種子，可以自己設(shè)定也可以從某些系列網(wǎng)站獲取。

1.1網(wǎng)絡(luò)爬蟲的組成

網(wǎng)絡(luò)爬蟲主要由控制器、解析器和資源庫(kù)三部分組成?？刂破魇蔷W(wǎng)絡(luò)爬蟲的控制中心，它負(fù)責(zé)分配線程并調(diào)用爬蟲為其分配爬取任務(wù)；解析器是網(wǎng)絡(luò)爬蟲的核心，它的主要工作是下載網(wǎng)頁(yè)并對(duì)網(wǎng)頁(yè)中的信息進(jìn)行處理，例如刪除一些JS腳本、HTML標(biāo)簽和空格字符等，抽取特殊HTML標(biāo)簽的功能，分析數(shù)據(jù)功能；資源庫(kù)是用于保存下載的網(wǎng)頁(yè)資源，并提供生成索引的目標(biāo)源。一般采用中大型的數(shù)據(jù)庫(kù)存儲(chǔ)，如Oracle、Sql Server等。

1.2網(wǎng)絡(luò)爬蟲的工作原理

網(wǎng)絡(luò)爬蟲的基本工作流程如下：

1）選取初始種子URL集合；

2）將URL集合放入待抓取URL隊(duì)列；

3）從待抓取URL隊(duì)列中取出待抓取URL，解析DNS，得到主機(jī)IP，將URL對(duì)應(yīng)網(wǎng)頁(yè)下載并存儲(chǔ)至網(wǎng)頁(yè)資源庫(kù)。結(jié)束后將這些URL放入已抓取URL隊(duì)列。

4）從已抓取URL隊(duì)列中的URL分析出新的滿足需求的URL，放入待抓取URL隊(duì)列。

5）循環(huán)第3步，直至滿足停止條件。

傳統(tǒng)網(wǎng)絡(luò)爬蟲框架如圖1所示。

1.3網(wǎng)絡(luò)爬蟲的搜索策略

網(wǎng)絡(luò)爬蟲在運(yùn)行過程中，待抓取URL隊(duì)列是很重要的一部分。待抓取URL隊(duì)列中的URL如何排序也是一個(gè)值得研究的問題，因?yàn)檫@涉及先抓取那個(gè)頁(yè)面，后抓取哪個(gè)頁(yè)面。而排列URL順序的方法，叫做抓取策略。常見的網(wǎng)絡(luò)爬蟲策略有：

1）廣度優(yōu)先搜索策略。在抓取過程中，由根節(jié)點(diǎn)開始，完成當(dāng)前層次的搜索后才跳到下一層次的搜索。該策略實(shí)現(xiàn)較為簡(jiǎn)單，其基本思想是認(rèn)為與初始URL在一定鏈接距離內(nèi)的網(wǎng)頁(yè)具有主題相關(guān)性的概率很大。

2）深度優(yōu)先搜索策略。這種策略的主要思想是網(wǎng)絡(luò)爬蟲從起始頁(yè)開始，一個(gè)鏈接一個(gè)鏈接跟蹤下去，處理完這條線路之后再轉(zhuǎn)入下一個(gè)起始頁(yè)，繼續(xù)跟蹤鏈接。

3）最佳優(yōu)先搜索策略。該策略通過計(jì)算 URL 描述文本與目標(biāo)網(wǎng)頁(yè)的相似度，或者與主題的相關(guān)性，根據(jù)所設(shè)定的閾值選出有效 URL 進(jìn)行抓取。

4）反向鏈接數(shù)策略，反向鏈接數(shù)是指一個(gè)網(wǎng)頁(yè)被其他網(wǎng)頁(yè)鏈接指向的數(shù)量。反向鏈接數(shù)表示的是一個(gè)網(wǎng)頁(yè)的內(nèi)容受到其他人的推薦的程度。因此，很多時(shí)候搜索引擎的抓取系統(tǒng)會(huì)使用這個(gè)指標(biāo)來評(píng)價(jià)網(wǎng)頁(yè)的重要程度，從而決定不同網(wǎng)頁(yè)的抓取先后順序。

2如何應(yīng)對(duì)站點(diǎn)反爬蟲機(jī)制

網(wǎng)絡(luò)爬蟲會(huì)對(duì)目標(biāo)站點(diǎn)發(fā)送大量請(qǐng)求，而這樣的爬蟲機(jī)制會(huì)消耗不少網(wǎng)站資源，這對(duì)于中小型網(wǎng)站的負(fù)載是 巨大的，甚至因此而崩潰，故不少網(wǎng)站都采取了反爬蟲的機(jī)制。例如：通過識(shí)別爬蟲的User-Agent信息來拒絕爬蟲，通過Filter過濾網(wǎng)絡(luò)爬蟲，通過網(wǎng)站流量統(tǒng)計(jì)系統(tǒng)和日志分析來識(shí)別爬蟲，利用網(wǎng)站的實(shí)時(shí)反爬蟲防火墻實(shí)現(xiàn)策略。為了不被站點(diǎn)判斷為爬蟲而被拒絕訪問請(qǐng)求，此處提供兩種方法來維持爬蟲的正常運(yùn)轉(zhuǎn)。

2.1降低訪問請(qǐng)求頻率

降低訪問請(qǐng)求頻率，在一定程度上是，模仿真人瀏覽頁(yè)面的動(dòng)作，故而不會(huì)輕易被網(wǎng)站所封殺，拒絕訪問。實(shí)現(xiàn)的方法為在訪問URL的程序中，將訪問請(qǐng)求的線程休眠一段時(shí)間。

具體代碼如下：

try { Thread.currentThread（）.sleep（4000）；

} catch （InterruptedException e） {

e.printStackTrace（）；

}

Sleep的休眠時(shí)間按照需求而定，以毫秒（ms）為單位。這種策略的優(yōu)點(diǎn)是減少了目標(biāo)站點(diǎn)單位時(shí)間內(nèi)的負(fù)載，而缺點(diǎn)則為爬蟲爬取效率的降低。

2.2設(shè)置服務(wù)器

設(shè)置服務(wù)器，較之前一種方法來說則以爬蟲的效率為首要要求，實(shí)質(zhì)就是某些網(wǎng)站的反爬蟲機(jī)制會(huì)封殺爬蟲請(qǐng)求頻率過高的主機(jī)的IP，為了解決這一問題，使用服務(wù)器，更換IP以及端口，解除站點(diǎn)對(duì)訪問頻率高的主機(jī)訪問的限制。

有兩種調(diào)用的方法，具體代碼如下：

方法一：

Jsoup.connect（"http：///cityjson"）.proxy（Proxy.Type.HTTP， "61.158.237.35"， 3128）.get（）；

方法二：

System.setProperty（"proxySet"， "true"）； System.setProperty（"http.proxyHost"， "61.158.237.35"）； System.setProperty（"http.proxyPort"， "3128"）；

Document a = Jsoup.connect（"http：///cityjson"）.get（）；

System.out.println（a）；

其中的IP與端口為 61.158.237.35：3128。

前后的效果如圖2，3所示。

優(yōu)點(diǎn)：保證爬蟲執(zhí)行不被站點(diǎn)封殺。只要有足夠IP可滿足爬取條件。

缺點(diǎn)：?jiǎn)挝粫r(shí)間內(nèi)消耗資源過多，給站點(diǎn)帶來較大的負(fù)載。延遲加大，失敗率提高。

2.3偽裝用戶

用戶User-agent是HTTP協(xié)議中的一個(gè)字段，作用是描述發(fā)出HTTP請(qǐng)求終端的一些信息。通俗來說，就是判斷訪問網(wǎng)站對(duì)象的類別，每個(gè)瀏覽器和正規(guī)的爬蟲都有固定的user-agent，因此只要將這個(gè)字段改成知名的user-agent就可以成功偽裝了。對(duì)于偽裝瀏覽器user-agent或知名爬蟲user-agent，更推薦偽裝瀏覽器，因?yàn)闉g覽器使用者可以是任何人，沒有固定的IP，而知名爬蟲user-agent一般都有固定IP。下面給出若干個(gè)瀏覽器的user-agent，每次發(fā)送請(qǐng)求時(shí)可隨機(jī)選取一個(gè)。

Mozilla/4.0（ compatible ；MSIE 8.0；Windows NT 6.0）

Mozilla/4.0（ compatible ；MSIE 7.0；Windows NT 5.2）

Mozilla/4.0（ compatible ；MSIE 6.0；Windows NT 5.1）

設(shè)置代碼如下：

HttpGet getMethod = new HttpGet（“URl”）；

getMethod.setHeader（“User-Agent”，”user agent內(nèi)容”）；

2.4 自動(dòng)登錄

有些網(wǎng)站一檢測(cè)到某IP的訪問量異常，就會(huì)馬上提出要登錄的要求。針對(duì)這種“反爬”策略，在登錄前需要做一些準(zhǔn)備，查清楚POST登錄請(qǐng)求時(shí)要附帶的參數(shù)，建議先用badboy錄制登錄過程，然后將這一過程導(dǎo)出為jmeter文件，最后用jmeter查看登錄所需的參數(shù)。

3結(jié)束語(yǔ)

總之，為了防止爬蟲被封，原則就是偽裝成正常的用戶，只要按照這個(gè)原則總有方法可循。不過若是能熟知一些反爬蟲的原理，然后有針對(duì)地進(jìn)行拆招應(yīng)該還是十分有效的。

傳統(tǒng)網(wǎng)絡(luò)爬蟲應(yīng)用于抓取靜態(tài)Web網(wǎng)頁(yè)的信息，而AJAX/Web2.0的流行使得如何抓取動(dòng)態(tài)頁(yè)面信息成為目前網(wǎng)絡(luò)爬蟲的瓶頸。另外，網(wǎng)絡(luò)爬蟲的效率與網(wǎng)站穩(wěn)定安全還未能完全達(dá)到兩者兼得的狀態(tài)。對(duì)于搜索引擎，它抓取的消耗較大，因此爬蟲的效率、特性和抓取的質(zhì)量就顯得更為重要。在未來的大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)爬蟲技術(shù)地位更為重要，和人工智能技術(shù)相結(jié)合將是熱門的課題。

參考文獻(xiàn)：

[1] 郭小丹.幾種開源網(wǎng)絡(luò)爬蟲功能比較[J].黑龍江科技信息，2015（25）.

[2] 林雄強(qiáng).網(wǎng)絡(luò)爬蟲[J].中國(guó)科技博覽，2014（24）.

[3] 趙全軍，成功，李小正，等.一種改進(jìn)的網(wǎng)絡(luò)爬蟲搜索策略[J].中國(guó)科技信息，2014（14）.

[4] 劉慶杰，孫旭光，王小英.通過Filter抵御網(wǎng)頁(yè)爬蟲[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2010（1）.

篇（2）

[3] Wikipedia. Regular expression [EB/OL]. [2013?04?23]. http：///wiki/Regular_expression.

[4] World Wide Web Consortium. Document object model [EB/OL]. [2013?04?23]. http：///DOM.

[5] ALVAREZ M， RAPOSO J， PAN A， et al. DeepBot： a focused crawler for accessing hidden web content [C]// Proceedings of DEECS 2007. New York， USA： ACM， 2007： 18?25.

[6] 彭軻，廖聞劍.基于瀏覽器服務(wù)的網(wǎng)絡(luò)爬蟲[J].硅谷，2009（4）： 49?50.

[7] 劉兵.基于JavaScript等多鏈接分析的主題爬蟲設(shè)計(jì)實(shí)現(xiàn)[J].許昌學(xué)院學(xué)報(bào)，2010，29（2）：87?90.

[8] 范軒苗，鄭寧，范淵.一種基于AJAX的爬蟲模型的設(shè)計(jì)與實(shí)現(xiàn) [J].計(jì)算機(jī)應(yīng)用與軟件，2010，27（1）：96?99.

[9] WebKit Open Source Project. The WebKit open source project [EB/OL]. [2013?03?24]. http：//.

篇（3）

中圖分類號(hào)：TP391.3

經(jīng)過最近這些年的發(fā)展，搜索引擎已經(jīng)改變了信息的獲取甚至存儲(chǔ)方式。用戶不再需要將大量信息存儲(chǔ)在終端機(jī)上，而是在需要信息的時(shí)候直接運(yùn)用搜索引擎來獲取，這樣不僅節(jié)約了存儲(chǔ)空間，也能獲取到最新、最準(zhǔn)確的數(shù)據(jù)，從某種意義上來說，由于有了搜索引擎，我們便可以把一些記憶任務(wù)交給機(jī)器來完成。搜索引擎有運(yùn)行在大規(guī)模云計(jì)算的通用搜索引擎，也有一些行業(yè)搜索以及網(wǎng)站搜索。通用搜索引擎是大顎，每一只都有自己獨(dú)立的領(lǐng)地。行業(yè)搜索是領(lǐng)頭雁，是各行業(yè)的旗幟。而網(wǎng)站搜索則像一只只小麻雀，雖小卻五臟俱全。無論是哪一種搜索引擎都包含采集數(shù)據(jù)的爬蟲和索引庫(kù)的管理以及搜索頁(yè)面展現(xiàn)等部分，而網(wǎng)絡(luò)爬蟲則是開發(fā)一個(gè)搜索引擎最常用的技術(shù)。

網(wǎng)絡(luò)爬蟲（Crawler）的主要作用是獲取互聯(lián)網(wǎng)上的信息。例如，一個(gè)醫(yī)藥采購(gòu)人員需要找到藥品行業(yè)的有競(jìng)爭(zhēng)力的廠家和價(jià)格等信息；金融公司員工需要找到有潛力的投資公司；媒體行業(yè)人士需要找到能夠迅速變熱的話題；這些都可以使用網(wǎng)絡(luò)爬蟲來抓取實(shí)現(xiàn)；網(wǎng)絡(luò)爬蟲從互聯(lián)網(wǎng)上源源不斷的抓取海量信息，搜索引擎結(jié)果中的信息都是來源于此。所以，如果我們把互聯(lián)網(wǎng)比喻成一張覆蓋全球的蜘蛛網(wǎng)，那么抓取程序就是在網(wǎng)上爬來爬去的蜘蛛。

網(wǎng)絡(luò)爬蟲需要實(shí)現(xiàn)的基本功能包括下載網(wǎng)頁(yè)以及對(duì)URL地址的遍歷。為了高效的快速遍歷網(wǎng)站還需要應(yīng)用專門的數(shù)據(jù)結(jié)構(gòu)來優(yōu)化。網(wǎng)絡(luò)爬蟲很消耗寬帶資源，設(shè)計(jì)時(shí)需要仔細(xì)的考慮如何節(jié)省網(wǎng)絡(luò)寬帶資源。下面就基于C#語(yǔ)言的網(wǎng)絡(luò)爬蟲而言，進(jìn)行優(yōu)化設(shè)計(jì)。

1 網(wǎng)絡(luò)爬蟲的原理

我們?cè)跒g覽網(wǎng)頁(yè)的時(shí)候，每一個(gè)網(wǎng)頁(yè)都可以鏈接到其他網(wǎng)站，那么搜索信息也可以從一個(gè)網(wǎng)站開始，跟蹤所有網(wǎng)頁(yè)上的鏈接，然后就可能遍歷整個(gè)互聯(lián)網(wǎng)。

為了更快的抓取到想到的信息，網(wǎng)頁(yè)抓取首先從一個(gè)已知的URL地址列表開始遍歷，在搜索引擎中，爬蟲程序從一系列子鏈接中把這些初始網(wǎng)頁(yè)中的URL提取出來，放入U(xiǎn)RL工作隊(duì)列（Todo隊(duì)列），然后開始遍歷所有工作隊(duì)列中的URL，下載網(wǎng)頁(yè)并把其中新發(fā)現(xiàn)的URL再次放入工作隊(duì)列，為了判斷一個(gè)URL是否已經(jīng)遍歷過，需要把所有遍歷過的URL放入歷史表（Visited表）。遍歷的流程如下圖：

在抓取的過程中，將要訪問的鏈接和已經(jīng)訪問過的鏈接分別存儲(chǔ)在list中，爬蟲從種子站點(diǎn)開始判斷，如果有需要遍歷的鏈接，則逐個(gè)遍歷，在訪問了某個(gè)鏈接后，便將該鏈接從Todo列表中刪除，同時(shí)增加到Visited列隊(duì)的尾部，最后再通過正則表達(dá)式提取鏈接。

服務(wù)器的名稱通過DNS服務(wù)器轉(zhuǎn)換成對(duì)應(yīng)的IP地址，即通過DNS取得該URL域名的IP地址，需要選擇一個(gè)好的DNS服務(wù)器，在Windows下DNS解析的問題可以用nslookup命令來解析，如：

C：＼Users＼Administrator>

服務(wù)器：

Address：202.108.53.181

應(yīng)答：

名稱：

Address：211.189.214.127

2 網(wǎng)絡(luò)爬蟲的架構(gòu)

一般網(wǎng)絡(luò)爬蟲軟件都由以下幾個(gè)模塊組成：

2.1 保存種子和爬取出來的URL的數(shù)據(jù)結(jié)構(gòu)

農(nóng)民會(huì)把有生長(zhǎng)潛力的農(nóng)作物籽用作下一季的種子，而技術(shù)人員則把一些活躍的網(wǎng)頁(yè)用作種子URL，例如網(wǎng)站的首頁(yè)或者列表頁(yè)，因?yàn)樵谶@些頁(yè)面經(jīng)常會(huì)發(fā)現(xiàn)新的鏈接。通常爬蟲都是從一系列的種子URL開始爬取，一般從數(shù)據(jù)庫(kù)表或者配置文件中讀取這些種子URL。而保存待抓取的URL的數(shù)據(jù)結(jié)構(gòu)卻會(huì)因?yàn)橄到y(tǒng)的規(guī)模、功能不同有可能采取不同的策略。一個(gè)比較小的示例爬蟲程序，可能就使用內(nèi)存中的一個(gè)隊(duì)列，或者是優(yōu)先級(jí)隊(duì)列進(jìn)行存儲(chǔ)。一個(gè)中等規(guī)模的爬蟲程序，可能使用內(nèi)存數(shù)據(jù)庫(kù)來存儲(chǔ)，如果內(nèi)存不足還可以序列化到磁盤上。但是真正大規(guī)模的爬蟲系統(tǒng)，是通過服務(wù)器集群來存儲(chǔ)已經(jīng)爬取出來的URL，并且還會(huì)在存儲(chǔ)URL的表中附帶一些其他信息，比如說pagerank值，供以后的計(jì)算使用。

2.2 保存已經(jīng)抓取過的URL的數(shù)據(jù)結(jié)構(gòu)

已經(jīng)抓取過的URL的規(guī)模和待抓取的URL的規(guī)模是一個(gè)相當(dāng)?shù)牧考?jí)。正如我們前面介紹的TODO和Visited，但是，它們唯一的不同是Visited表會(huì)經(jīng)常被查詢，以便確定發(fā)現(xiàn)的URL是否已經(jīng)處理過。因此，如果Visited表數(shù)據(jù)結(jié)構(gòu)是一個(gè)內(nèi)存數(shù)據(jù)結(jié)構(gòu)的話，可以采用散列表來存儲(chǔ)，如果保存在數(shù)據(jù)庫(kù)中的話，可以對(duì)URL列建立索引。

2.3 頁(yè)面獲取模塊

當(dāng)從種子URL隊(duì)列或者抓取出來的URL隊(duì)列中獲得URL后，便要根據(jù)這個(gè)URL來獲得當(dāng)前頁(yè)面的內(nèi)容，獲得的方法非常簡(jiǎn)單，就是普通的I/O操作。在這個(gè)模塊中，僅僅是把URL所指的內(nèi)容按照二進(jìn)制的格式讀出來，而不對(duì)內(nèi)容做任何處理。

2.4 提取已經(jīng)獲取的網(wǎng)頁(yè)的內(nèi)容中的有效信息

從頁(yè)面獲取模塊的結(jié)果是一個(gè)表示HTML源代碼的字符串。從這個(gè)字符串中抽取各種相關(guān)的內(nèi)容，是爬蟲軟件的目的。因此這個(gè)模塊就顯得非常重要。

通常在一個(gè)網(wǎng)頁(yè)中，除了包含有文本內(nèi)容還有圖片，超鏈接等等。對(duì)于文本內(nèi)容，首先把HTML源代碼的字符串保存成HTML文件。關(guān)于超鏈接提取，可以根據(jù)HTML語(yǔ)法，使用正則表達(dá)式來提取，并且把提取的超鏈接假如到TODO表中，也可以使用專門的HTML文檔解析工具。在網(wǎng)頁(yè)中，超鏈接不光指向HTML頁(yè)面，還會(huì)指向各種文件，對(duì)于除了HTML頁(yè)面的超鏈接之外，其他內(nèi)容的鏈接不能放入TODO表中，而要直接下載。因此，在這個(gè)模塊中，還必須包含提取圖片，JavaScript，PDF，DOC等內(nèi)容的部分。在提取過程中，還要針對(duì)HTTP協(xié)議，來處理返回的狀態(tài)碼。

2.5 負(fù)責(zé)連接前處理模塊，負(fù)責(zé)連接后處理模塊和過濾器模塊

如果只抓取某個(gè)網(wǎng)站的網(wǎng)頁(yè)，則可以對(duì)URL按域名過濾。

2.6 多線程模塊

爬蟲主要消耗三種資源：網(wǎng)絡(luò)寬帶，中央處理器和磁盤。三者中任何一者都有可能成為瓶頸，其中網(wǎng)絡(luò)快帶一般是租用，價(jià)格相對(duì)昂貴。為了增加爬蟲效率，最直接的方法就是使用多線程的方式進(jìn)行處理。在爬蟲系統(tǒng)中，將要處理的URL隊(duì)列往往是唯一的，多個(gè)線程順序地從隊(duì)列中取得URL，之后各自進(jìn)行處理（處理階段是并發(fā)進(jìn)行）。通常可以利用線程池來管理線程。

2.7 分布式處理

分布式計(jì)算是當(dāng)今計(jì)算技術(shù)的主流。這項(xiàng)技術(shù)也可以同時(shí)用在網(wǎng)絡(luò)爬蟲上面。把抓取任務(wù)分不到不同的節(jié)點(diǎn)分布，主要是為了可擴(kuò)展性，也可以使用物理分布的爬蟲系統(tǒng)，讓每個(gè)爬蟲節(jié)點(diǎn)抓取靠近它的網(wǎng)站。

3 網(wǎng)絡(luò)爬蟲遍歷與實(shí)現(xiàn)

網(wǎng)絡(luò)爬蟲的抓取原理是從互聯(lián)網(wǎng)中的一個(gè)網(wǎng)頁(yè)開始，根據(jù)網(wǎng)頁(yè)中的超級(jí)鏈接逐個(gè)抓取網(wǎng)頁(yè)中鏈接的其他網(wǎng)頁(yè)。而網(wǎng)頁(yè)通過超級(jí)鏈接互相鏈接，組成了一個(gè)龐大的無形的網(wǎng)，信息量十分龐大，網(wǎng)絡(luò)爬蟲不可能抓取所有的網(wǎng)頁(yè)信息，所以使用網(wǎng)絡(luò)爬蟲抓取網(wǎng)頁(yè)要遵循一定的原則，主要是廣度優(yōu)先原則和最佳優(yōu)先原則。

廣度優(yōu)先是網(wǎng)絡(luò)爬蟲會(huì)先抓取起始網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)，然后再選擇其中的一個(gè)鏈接網(wǎng)頁(yè)繼續(xù)抓取在此網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)。這是最常見的方式，這個(gè)方法也可以讓網(wǎng)絡(luò)爬蟲并行處理，提高它的抓取速度。

最佳優(yōu)先爬蟲策略則又被稱為頁(yè)面選擇問題，通常在有限寬帶條件下，盡可能的照顧到重要性高的網(wǎng)頁(yè)是一個(gè)很重要的考慮原則。實(shí)現(xiàn)最優(yōu)先爬蟲最簡(jiǎn)單的方式可以使用優(yōu)先級(jí)隊(duì)列（PriorityQueue）來實(shí)現(xiàn)TODO表，這樣，每次選出來擴(kuò)展的URL就是具有最高重要性的網(wǎng)頁(yè)。在隊(duì)列中，先進(jìn)入的元素先出，但是在優(yōu)先隊(duì)列中，優(yōu)先級(jí)高的元素先出隊(duì)列。

例，假設(shè)有如下重要關(guān)系的節(jié)點(diǎn)D>B>C>A>E>F>I>H，則整個(gè)遍歷過程如表所示。

如果一個(gè)新的連接請(qǐng)求進(jìn)來的時(shí)候，連接池管理器檢查連接池中是否包含任何沒用的連接，如果有的話，則返回一個(gè)。如果連接池中所有的連接都忙并且最大的連接池?cái)?shù)量沒有達(dá)到，就創(chuàng)建新的連接并且增加到連接池。當(dāng)連接池中在用的連接達(dá)到最大值，所有的新連接請(qǐng)求進(jìn)入隊(duì)列，知道一個(gè)連接可用或者請(qǐng)求超時(shí)。程序一開始初始化需創(chuàng)建若干數(shù)量的長(zhǎng)鏈接。給它們?cè)O(shè)置一個(gè)標(biāo)識(shí)位，這個(gè)標(biāo)識(shí)位表示該鏈接是否空閑的狀態(tài)。如果需要發(fā)送數(shù)據(jù)的時(shí)候，系統(tǒng)給它分配一個(gè)當(dāng)前空閑的鏈接。同時(shí)，將得到的鏈接設(shè)置為忙，當(dāng)數(shù)據(jù)發(fā)送完畢后，把鏈接標(biāo)識(shí)位設(shè)置為閑，讓系統(tǒng)可以分配給下一個(gè)用戶，這樣使得兩種方式的優(yōu)點(diǎn)都充分的發(fā)揮出來。

4 結(jié)束語(yǔ)

搜索引擎的使用，使人們能夠更加方便快捷地從網(wǎng)絡(luò)上獲取想要的信息。隨著互聯(lián)網(wǎng)和計(jì)算機(jī)技術(shù)的不斷發(fā)展，傳統(tǒng)的通用搜索引擎已經(jīng)很難滿足人們的信息檢索要求，而主題搜索引擎的產(chǎn)生為信息檢索服務(wù)水平的提高帶來了福音。而作為搜索引擎的基礎(chǔ)部分，網(wǎng)絡(luò)爬蟲對(duì)于信息檢索服務(wù)的實(shí)現(xiàn)起著舉足輕重的作用。因而只有根據(jù)搜索引擎的發(fā)展和創(chuàng)新不斷優(yōu)化網(wǎng)絡(luò)爬蟲的設(shè)計(jì)，才能提高網(wǎng)絡(luò)爬蟲的性能以及主題搜索引擎的應(yīng)能。

參考文獻(xiàn)：

[1]劉偉.搜索引擎中網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J].科技傳播，2011，20.

篇（4）

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）17-0016-02

1 引言

現(xiàn)今，社會(huì)經(jīng)濟(jì)生活的各個(gè)方面變得越來越“互聯(lián)網(wǎng)化”，互聯(lián)網(wǎng)式經(jīng)濟(jì)貿(mào)易逐漸取代傳統(tǒng)的經(jīng)濟(jì)模式，互聯(lián)網(wǎng)金融市場(chǎng)的快速發(fā)展，在我國(guó)的經(jīng)濟(jì)結(jié)構(gòu)中形成了服務(wù)于互聯(lián)網(wǎng)金融的主流經(jīng)濟(jì)模式。致使各大商業(yè)銀行也更加積極地開創(chuàng)互聯(lián)網(wǎng)經(jīng)濟(jì)方面的業(yè)務(wù)，也強(qiáng)化了實(shí)體經(jīng)濟(jì)的服務(wù)效率。

“互聯(lián)網(wǎng)金融+”這個(gè)新興事物越來越多地融入我們的生活，改變了我們以往的生活方式。現(xiàn)在流行的打車軟件，以電子支付為交易方式，改變了傳統(tǒng)的支付方式；網(wǎng)絡(luò)銀行的快速發(fā)展為我們提供了新的理財(cái)方式；P2P信貸使得我們的消費(fèi)和貸款有了新的途徑；眾籌產(chǎn)業(yè)的發(fā)展讓每個(gè)人都可以參與到創(chuàng)新新模式中來，這些新的變化改變著我們的生活，使得我們生活增添了新的色彩，互聯(lián)網(wǎng)金融在未來會(huì)越來越成為主流。

網(wǎng)絡(luò)技術(shù)的快速發(fā)展，使得網(wǎng)絡(luò)上各種重要的數(shù)據(jù)信息越來越多，互聯(lián)網(wǎng)金融領(lǐng)域的發(fā)展也更加依賴于網(wǎng)絡(luò)來獲取重要的數(shù)據(jù)信息，以供研究發(fā)展。在互聯(lián)網(wǎng)中，時(shí)時(shí)刻刻都有各式各樣的金融網(wǎng)站實(shí)時(shí)的數(shù)據(jù)信息，如股票的走勢(shì)、某個(gè)公司的運(yùn)營(yíng)情況、某個(gè)專家對(duì)當(dāng)前經(jīng)濟(jì)形式的分析、在經(jīng)濟(jì)領(lǐng)域新產(chǎn)生了哪些技術(shù)等等。大型金融機(jī)構(gòu)或者理財(cái)?shù)膫€(gè)人都需要最前沿的工具來抓取這些必要的數(shù)據(jù)信息，以供研究。

在互聯(lián)網(wǎng)金融領(lǐng)域，爬蟲程序開發(fā)所面臨的主要問題是采集性能和反封鎖。大多數(shù)情況下，采用并發(fā)程度高的線程搜索網(wǎng)頁(yè)數(shù)據(jù)是可行的，但是，前提是所訪問的網(wǎng)站沒有設(shè)置反爬蟲的程序，例如設(shè)置防火墻、填寫驗(yàn)證碼什么的。很多時(shí)候有價(jià)值的信息都不會(huì)輕易被獲取，因?yàn)榫W(wǎng)站可能會(huì)靠這些數(shù)據(jù)信息盈利，所以設(shè)置反爬蟲的措施，限制訪問的頻率，一旦IP地址被封掉，什么程序就都沒用了。所以，爬取數(shù)據(jù)的公司一般要運(yùn)營(yíng)維護(hù)一個(gè)IP地址池，同時(shí)，這也會(huì)出現(xiàn)IP是否穩(wěn)定的問題，這些問題無法被避免，我們針對(duì)具體問題具體分析，最高效、最快速的完成爬取數(shù)據(jù)的任務(wù)。

目前，爬蟲已在互聯(lián)網(wǎng)金融領(lǐng)域的需求呈現(xiàn)出幾何增長(zhǎng)的趨勢(shì)。未來互聯(lián)網(wǎng)經(jīng)濟(jì)將在我國(guó)總的經(jīng)濟(jì)產(chǎn)業(yè)中占有更高的比重，獲取一些重要的網(wǎng)絡(luò)信息都得需要爬蟲技術(shù)的參與，爬蟲技術(shù)為適應(yīng)新的需求，將會(huì)不斷地更新發(fā)展。

2 關(guān)鍵方法和技術(shù)

2.1 多線程機(jī)制

網(wǎng)絡(luò)爬蟲需要下載規(guī)模非常龐大的網(wǎng)頁(yè)，如果僅僅采用單線程來操作，采集效果會(huì)非常差，并且會(huì)浪費(fèi)大量的時(shí)間，因?yàn)榕老x程序向服務(wù)器提交請(qǐng)求后要等待服務(wù)器的處理和返回結(jié)果，如果采用單線程，每個(gè)線程依次發(fā)送請(qǐng)求并等待服務(wù)器的依次響應(yīng)，等待時(shí)間是所有網(wǎng)頁(yè)處理過程的疊加，效率大大降低。因此，可采用多線程機(jī)制來減少個(gè)別網(wǎng)頁(yè)的處理時(shí)間，以提高程序的效率。

2.2數(shù)據(jù)庫(kù)訪問技術(shù)

爬蟲技術(shù)采用隊(duì)列管理的方式，基于SQLserver數(shù)據(jù)庫(kù)。在本程序中，我們通過JAVA中的jdbc來操作數(shù)據(jù)庫(kù)，通過建立JDBC和ODBC之間的鏈接，即建立所謂的JDBC-ODBC橋接器，和數(shù)據(jù)庫(kù)的連接工作由ODBC去完成。JDBC的作用就是允許程序向數(shù)據(jù)庫(kù)發(fā)送SQL語(yǔ)句，而且可以指定數(shù)據(jù)的返回類型。

3 實(shí)現(xiàn)過程

3.1 爬蟲程序中的主要類和函數(shù)

首先，創(chuàng)建InteralCrawler類，用來實(shí)現(xiàn)爬蟲程序基本的功能，包括多線程機(jī)制獲取網(wǎng)頁(yè)、處理網(wǎng)頁(yè)、搜索新的URL等功能。此外，InteralCrawler類還作為爬蟲程序接口，并且由其對(duì)象管理線程。

CrawWork類用來創(chuàng)建工作對(duì)象，工作對(duì)象處理InteralCrawler所訪問的網(wǎng)頁(yè)鏈接。當(dāng)程序啟動(dòng)時(shí)，CrawWork對(duì)象將請(qǐng)求處理網(wǎng)頁(yè)鏈接。該對(duì)象調(diào)用InteralCrawler對(duì)象的getWorkload（）方法，該方法將返回一個(gè)還未處理的網(wǎng)頁(yè)鏈接。

3.3 多線程的設(shè)計(jì)

在我們使用多線程機(jī)制來設(shè)計(jì)爬蟲時(shí)，大致流程的是：每個(gè)爬蟲線程抓取的數(shù)據(jù)要聚集起來，再統(tǒng)一處理，然后讓空閑的爬蟲程序分去處理新的網(wǎng)頁(yè)數(shù)據(jù)。這個(gè)工作流程可以讓我們聯(lián)想到master-slave模式，這個(gè)模式就相當(dāng)于在建筑一個(gè)工程時(shí)，包工頭和建筑工人之間的關(guān)系，包工頭統(tǒng)一規(guī)劃整個(gè)項(xiàng)目的實(shí)施流程并向工人下發(fā)任務(wù)，工人只需出力完成任務(wù)。根據(jù)這個(gè)模式，我們?cè)O(shè)計(jì)爬蟲線程。如下圖，多線程爬蟲如圖1所示。

線程的設(shè)計(jì)是爬蟲程序的關(guān)鍵部分，爬蟲線程通過最佳優(yōu)先算法根據(jù)一個(gè)網(wǎng)頁(yè)得到其所有鏈接網(wǎng)頁(yè)的URL，再搜索所有鏈接到頁(yè)面中的關(guān)鍵字。如果搜索到所需數(shù)據(jù)，爬蟲程序通過窗口指針向用戶報(bào)告。如果未搜索到數(shù)據(jù)，結(jié)束線程，拋棄所有變量，正常返回。

算法思想如下 ：

4 總結(jié)

爬蟲技術(shù)在互聯(lián)網(wǎng)+時(shí)代具有廣泛的實(shí)際應(yīng)用價(jià)值，通過爬蟲技術(shù)可以實(shí)現(xiàn)網(wǎng)頁(yè)挖掘的核心算法。然而值得一提的是，爬蟲在訪問某些網(wǎng)頁(yè)時(shí)，可能會(huì)遇到一些反爬措施，例如數(shù)據(jù)加密、網(wǎng)頁(yè)權(quán)限等問題，有些網(wǎng)站只有有權(quán)限的用戶能訪問。網(wǎng)上有一些出售數(shù)據(jù)的網(wǎng)站他們希望網(wǎng)絡(luò)爬蟲能爬取到他們的報(bào)告（相當(dāng)于給自己打了個(gè)廣告），但是又不能讓這些數(shù)據(jù)資源免費(fèi)被爬蟲程序爬取，網(wǎng)站會(huì)給網(wǎng)絡(luò)爬蟲一個(gè)用戶名和密碼，使得網(wǎng)絡(luò)爬蟲可以訪問網(wǎng)站一部分?jǐn)?shù)據(jù)，重要的數(shù)據(jù)會(huì)設(shè)置權(quán)限。

參考文獻(xiàn)：

[1] 潘春華，常敏.面向web的信息收集工具的設(shè)計(jì)與開發(fā)[J].計(jì)算機(jī)應(yīng)用研究，2002，13（6）：144-148。

[2] 杜亞軍.爬蟲算法設(shè)計(jì)與程序?qū)崿F(xiàn)[J].計(jì)算機(jī)應(yīng)用，2004.

篇（5）

隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的不斷成熟和大量使用。怎樣快速的幫用戶在茫茫的互聯(lián)網(wǎng)的海洋中找到需要的信息，已經(jīng)成了互聯(lián)網(wǎng)研究的一項(xiàng)重要的內(nèi)容。為了讓用戶在互聯(lián)網(wǎng)中快速有效的進(jìn)行互聯(lián)網(wǎng)搜索信息，一類被稱為搜索引擎的搜索工具隨之產(chǎn)生，給用戶和他們所要搜索的信息之間提供了一座橋梁。而搜索引擎最重要的部分是網(wǎng)絡(luò)爬蟲，所以網(wǎng)絡(luò)爬蟲為搜索功能的實(shí)現(xiàn)奠定了重要的基石。

水稻是我國(guó)最重要的食品之一，在我國(guó)種植面積很大，分布全國(guó)各個(gè)地區(qū)。而影響我國(guó)每年的水稻產(chǎn)量的重要因素之一就是水稻的病蟲害的發(fā)生，其控制水稻病蟲害發(fā)生的問題一直是提高水稻產(chǎn)量的重要且急需解決的問題。

為結(jié)合科技力量進(jìn)一步加快水稻病蟲害防治的研究步伐，本文擬采用水稻病蟲害圖像網(wǎng)絡(luò)爬蟲搜索引擎，進(jìn)一步推進(jìn)水稻病蟲害研究，有效改善水稻生產(chǎn)，進(jìn)一步地促進(jìn)我國(guó)水稻病蟲害的法治，讓我國(guó)的水稻產(chǎn)量得到有力的提升。

1 國(guó)內(nèi)外研究現(xiàn)狀

目前，基于爬蟲技術(shù)的搜索引擎在互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展中閃耀，給農(nóng)作物病蟲害防治的研究提供了技術(shù)上的支持。同時(shí)，發(fā)達(dá)國(guó)家對(duì)水稻等作物病蟲害防治情況的大力關(guān)注，越來越多的國(guó)家和機(jī)構(gòu)加入使用爬蟲技術(shù)來控制病蟲害行列中來。

隨著科學(xué)技術(shù)和生活水平的提高，網(wǎng)絡(luò)已經(jīng)成為人們生活的一部分，各種搜索引擎紛紛涌現(xiàn)，作為基礎(chǔ)技術(shù)的爬蟲技g也越來越成熟，國(guó)內(nèi)許多搜索引擎巨頭如百度，搜狗等等迅速向前推進(jìn)，分別推出了各自的搜索引擎系統(tǒng)。同時(shí)，中國(guó)的“五年計(jì)劃”高度關(guān)注農(nóng)業(yè)發(fā)展，使得爬蟲技術(shù)在農(nóng)作物病蟲害防治的問題上越來越受到公眾的關(guān)注。

2 網(wǎng)絡(luò)爬蟲的定義

網(wǎng)絡(luò)爬蟲（也稱為蜘蛛）是一種客戶端程序或腳本，顧名思義，網(wǎng)絡(luò)爬蟲能像“蜘蛛”一樣在特定的范圍內(nèi)獲取到所需要的信息，網(wǎng)絡(luò)爬蟲是根據(jù)某些特定的規(guī)則來自動(dòng)抓取網(wǎng)絡(luò)上的信息。而且網(wǎng)絡(luò)爬蟲是搜索引擎的重要組成部分，通過對(duì)網(wǎng)頁(yè)的自動(dòng)提取，能從網(wǎng)頁(yè)獲取到搜索引擎所需的頁(yè)面。在爬取網(wǎng)頁(yè)信息時(shí)，為獲取初始頁(yè)面的URL列表，需從一個(gè)或多個(gè)初始網(wǎng)頁(yè)的URL進(jìn)行抓取，在抓取的過程中，自動(dòng)將當(dāng)前頁(yè)面的新URL從隊(duì)列中分類到抓取狀態(tài)，直到滿足系統(tǒng)的停止條件為止。

3 水稻病蟲害圖像網(wǎng)絡(luò)爬蟲設(shè)計(jì)

3.1 網(wǎng)絡(luò)爬蟲的模型分析

首先是抓取URL鏈接地址。從URL地址抓取開始，先確定URL是否重復(fù)，然后根據(jù)預(yù)先設(shè)置的廣度來抓取圖像，搜索圖像時(shí)通過設(shè)計(jì)的算法和排序方式來進(jìn)行搜索。搜索完成后將與主題相關(guān)的圖像篩選出來，然后將篩選后的圖下像載到本地中，與此同時(shí)也通過jdbc將圖像存儲(chǔ)到數(shù)據(jù)庫(kù)中。然后任務(wù)列表再次開始抓取URL，使網(wǎng)絡(luò)抓取器運(yùn)行，依次循環(huán)，直到要抓取的URL線程完成為止。

3.2 網(wǎng)絡(luò)爬蟲的搜索策略

廣度優(yōu)先搜索策略是在當(dāng)前搜索級(jí)別完成之后再執(zhí)行下一級(jí)搜索。在盡可能多的頁(yè)面的覆蓋范圍內(nèi)，通常使用廣度優(yōu)先搜索方法來抓取用戶所需要的信息，同時(shí)也因?yàn)樵撍惴ǖ脑O(shè)計(jì)和實(shí)現(xiàn)相對(duì)簡(jiǎn)單。有許多研究將廣泛優(yōu)先搜索策略應(yīng)用于聚焦爬網(wǎng)程序?；舅枷胧?，初始URL與頁(yè)面之間的距離內(nèi)具有一定的鏈接與主題的相關(guān)程度很大。另一種方法是使用廣度優(yōu)先搜索和網(wǎng)絡(luò)過濾技術(shù)，首先采用廣度優(yōu)先策略來抓取頁(yè)面，然后不相關(guān)的頁(yè)面過濾掉。這些方法的缺點(diǎn)是隨著爬網(wǎng)數(shù)量的增加，大量不相關(guān)的頁(yè)面將被下載和過濾，并且算法的效率會(huì)降低

3.3 水稻病蟲害圖像網(wǎng)絡(luò)爬蟲設(shè)計(jì)

本設(shè)計(jì)通過研究異步JavaScript網(wǎng)絡(luò)爬蟲系統(tǒng)的關(guān)鍵技術(shù)問題，采用基于對(duì)象的程序切片算法，以及腳本執(zhí)行引擎與切片模塊的互操作技術(shù)進(jìn)行設(shè)計(jì)。

將功能模塊分為前臺(tái)界面顯示和后臺(tái)數(shù)據(jù)抓取存庫(kù)。前臺(tái)界面顯示主要分為兩個(gè)部分：搜索導(dǎo)航部分和數(shù)據(jù)顯示部分。界面分上下兩個(gè)部分，上部分為搜索導(dǎo)航部分，比占40%；下部分為數(shù)據(jù)顯示部分，比占60%。上部分是用來關(guān)鍵字搜索導(dǎo)航，對(duì)要搜索的水稻病蟲害關(guān)鍵字進(jìn)行全站搜索；下部分是用來顯示搜索到的數(shù)據(jù)，用表格的形式分別顯示水稻病蟲害圖片和相關(guān)介紹信息。后臺(tái)數(shù)據(jù)抓取存庫(kù)主要分為兩個(gè)部分：抓取水稻病蟲害數(shù)據(jù)和數(shù)據(jù)存入數(shù)據(jù)庫(kù)。

通過關(guān)鍵字來獲取并下載水稻病蟲害圖像主題的網(wǎng)絡(luò)爬蟲程序，下載滿足客戶需求的水稻病蟲害圖像。根據(jù)用戶的不同需求，水稻病蟲害主題網(wǎng)絡(luò)爬蟲程序需要實(shí)現(xiàn)以下目標(biāo)：基于多線程設(shè)計(jì)，下載用戶需求的所有的水稻病蟲害圖像，篩選出用戶所需要的圖像通過一定的正則表達(dá)式和算法，通過關(guān)鍵字來獲取水稻病蟲害圖像主題的一個(gè)網(wǎng)絡(luò)爬蟲程序，通過設(shè)定的關(guān)鍵字來爬取網(wǎng)絡(luò)上的圖像，并下載滿足客戶需求的圖像。

4 小結(jié)

運(yùn)行爬蟲程序后，在控制臺(tái)輸入要爬取的圖像關(guān)鍵字，程序會(huì)在本地中生成一個(gè)image文件夾，文件夾內(nèi)容包含html、img、txt三個(gè)文件夾，還有一個(gè)url.txt文本文件。Img文件夾是保存爬取下載的水稻病蟲害圖像，根據(jù)水稻病蟲害的分類，img文件夾中可以實(shí)現(xiàn)八類不同病蟲害圖像的文件：稻曲病圖像、稻瘟病圖像、惡苗病圖像、胡麻葉斑病圖像、霜霉病圖像、紋枯病圖像、小球菌核病圖像、葉鞘腐敗病圖像。

【參考文獻(xiàn)】

篇（6）

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-914X（2015）05-0226-01

1 引言

隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡(luò)上的信息量迅速增加，特別是近些年來，網(wǎng)絡(luò)信息呈爆發(fā)式增長(zhǎng)。有時(shí)候我們?cè)L問網(wǎng)頁(yè)時(shí)，網(wǎng)頁(yè)上出現(xiàn)太多的不必要的信息，比如各種垃圾廣告和植入信息。

在互聯(lián)網(wǎng)的發(fā)展中，用戶體驗(yàn)占據(jù)了至關(guān)重要的作用。正是由于每天都有巨大的信息量通過互聯(lián)網(wǎng)傳遞給我們，所以我們要通過工具對(duì)其進(jìn)行篩選，對(duì)于我們所需要的信息，則可以借助關(guān)鍵字來獲取我們所想要的信息。

從上個(gè)世紀(jì)九十年代開始，人們就已經(jīng)開展和研究網(wǎng)絡(luò)爬蟲。爬蟲這項(xiàng)技術(shù)在現(xiàn)在已經(jīng)非常成熟了，同時(shí)它也是搜索引擎的重要組成成分。Nutch，Larbin，Heritrix都是網(wǎng)絡(luò)上很有名的開源爬蟲。對(duì)于網(wǎng)絡(luò)爬蟲來說，網(wǎng)頁(yè)搜索策略和網(wǎng)頁(yè)分析策略都是很重要的部分。

現(xiàn)在對(duì)于大眾來說，比較熟悉的爬蟲引擎有雅虎、谷歌、百度等。這些搜索引擎和本文所要研究的不一樣。但是大概的原理在一定程度上是相似的。

至可以說是垃圾信息，頁(yè)面分析的爬蟲技術(shù)就是基于此產(chǎn)生的，用來獲取更有價(jià)值的信息。

2 網(wǎng)頁(yè)爬蟲系統(tǒng)的分析

2.1 系統(tǒng)功能需求

網(wǎng)頁(yè)爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)需要考慮好系統(tǒng)的功能健全還要考慮好系統(tǒng)的的擴(kuò)展和系統(tǒng)的性能，為了方便以后對(duì)系統(tǒng)進(jìn)行重構(gòu)，系統(tǒng)設(shè)計(jì)需要按照以下的規(guī)則：

（1）系統(tǒng)為多線程機(jī)制

網(wǎng)絡(luò)爬蟲支持多線程同時(shí)進(jìn)行操作，爬蟲在局域網(wǎng)內(nèi)并行運(yùn)行，從而使系統(tǒng)的整體運(yùn)行的效率得到提高，并且在最短的時(shí)間獲取所需的信心。

（2）系統(tǒng)的功能完善

2.2 系統(tǒng)功能設(shè)計(jì)

網(wǎng)頁(yè)爬蟲要實(shí)現(xiàn)更加人性化，就要從指定的URL地址抓取到特定的頁(yè)面內(nèi)容，接著解析出頁(yè)面中的鏈接地址，然后再去訪問這些URL，重復(fù)進(jìn)行，直到得到的結(jié)果滿意，爬蟲存在的目的就在于此，根據(jù)這個(gè)宗旨。

根據(jù)需求，需要實(shí)現(xiàn)以下幾個(gè)基本功能模塊：

（1）網(wǎng)頁(yè)爬取模塊：主要實(shí)現(xiàn)的是通過從URL管理傳獲取 URL，進(jìn)行地址析，通過 HTTP 協(xié)議訪問URL指定的頁(yè)面，同時(shí)接收服務(wù)器端傳送的頁(yè)面信息。

（2）搜索策略模塊：主要實(shí)現(xiàn)的是管理爬取網(wǎng)頁(yè)所選取的搜索策略，寬度優(yōu)先搜索算法是本系統(tǒng)采用的算法，對(duì)搜索算法進(jìn)行改進(jìn)并提高搜索效率。

（3）解析頁(yè)面模塊：主要是實(shí)現(xiàn)提取的頁(yè)面內(nèi)容，提取的內(nèi)容有Css 腳本，圖片，視頻，文本，鏈接，Js，等其他文件。

3 系統(tǒng)主要功能模塊設(shè)計(jì)

3.1 網(wǎng)頁(yè)爬取模塊設(shè)計(jì)

（1）網(wǎng)頁(yè)爬取過程

系統(tǒng)開始就需要實(shí)現(xiàn)網(wǎng)頁(yè)的爬取，通過所要抓取的內(nèi)容以及給定指定的URL網(wǎng)址，這個(gè)模塊也是系統(tǒng)的核心，網(wǎng)絡(luò)中相關(guān)的網(wǎng)頁(yè)需要被爬蟲去收集。網(wǎng)頁(yè)信息要爬取再保存到本地。本系統(tǒng)設(shè)計(jì)的爬蟲是通過多線程分配并行進(jìn)行調(diào)度的，URL地址先從URL隊(duì)列中獲得，再?gòu)腤eb服務(wù)器發(fā)送數(shù)據(jù)請(qǐng)求接收Web服務(wù)器返回的數(shù)據(jù)；返回存儲(chǔ)到本地的網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行格式化。

對(duì)于以上的流程，為了避免耗費(fèi)不必要的時(shí)間以及無限制等待響應(yīng)緩慢的服務(wù)器或規(guī)模龐大的網(wǎng)頁(yè)，我們必須必須需要注意的是HTTP向Web服務(wù)器發(fā)送請(qǐng)求后，等待機(jī)制需要被設(shè)定超時(shí)。響應(yīng)包的頭部會(huì)被客戶端解析出來，獲得重定向信息和狀態(tài)編碼。循環(huán)的重定向一個(gè)循環(huán)的鏈?zhǔn)欠翊嬖诳梢酝ㄟ^維護(hù)一個(gè)URL哈希表來檢測(cè)的，如阻止進(jìn)一步循環(huán)的相同的URL在鏈中出現(xiàn)的話則。必要的錯(cuò)誤檢測(cè)和異常處理在頁(yè)面獲取過程中是非常重要的，因?yàn)槌绦虼a必須能處理服務(wù)器的各種響應(yīng)。

（2）HTTP協(xié)議

對(duì)于HTTP協(xié)議需要了解，Java中有個(gè)HTTPClient組件與url進(jìn)行連接。

3.2 搜索策略模塊設(shè)計(jì)

啟動(dòng)了爬去網(wǎng)頁(yè)的程序后，在Internet中開始搜索網(wǎng)頁(yè)，采用寬度優(yōu)先算法。這種搜索算法就是數(shù)據(jù)結(jié)構(gòu)中的寬度優(yōu)先算法，思路是這樣的：最先獲取指定的URL的網(wǎng)頁(yè)，然后提取該網(wǎng)頁(yè)中的所有URL，在一個(gè)個(gè)的去獲取URL地址，如何沒有的話，就結(jié)束這個(gè)遍歷，同一個(gè)層次的網(wǎng)頁(yè)上的URL鏈接遍歷完了后，就繼續(xù)下一層。就這樣一層層的進(jìn)行處理，不過這樣有可能導(dǎo)致一個(gè)無窮的遍歷，如果是一個(gè)環(huán)狀圖的話就可能變成一個(gè)死循環(huán)了。不過它的好處就是能計(jì)算出網(wǎng)絡(luò)中兩個(gè)節(jié)點(diǎn)的最短路徑，所以它經(jīng)常被作為實(shí)現(xiàn)爬蟲的最佳策略，又因?yàn)檫@個(gè)算法十分的容易實(shí)現(xiàn)，所以我們采用該算法來實(shí)現(xiàn)。

3.3 頁(yè)面分析模塊設(shè)計(jì)

通過爬蟲搜索指定URL的內(nèi)容進(jìn)行分析，搜索下來的網(wǎng)頁(yè)，進(jìn)行URL處理，網(wǎng)頁(yè)正文，Xml，Javascipt腳本，Css文件提取，通過指定相應(yīng)的規(guī)則來進(jìn)行分析。

抓取網(wǎng)頁(yè)的源碼，然后去判斷網(wǎng)頁(yè)的編碼，否則很大程度上會(huì)獲取到亂碼。首先看看的Http頭的Charset，一般來書，這個(gè)會(huì)比較準(zhǔn)，然后再看Http的頭里的Charset和網(wǎng)頁(yè)的Meta里聲明的Charset是否一致，所以人工加了一次判斷，若不同的話就到內(nèi)存流里使用網(wǎng)頁(yè)的編碼去重新讀取一次源代碼。

3.4 網(wǎng)頁(yè)管理模塊設(shè)計(jì)

（1）網(wǎng)頁(yè)保存

網(wǎng)頁(yè)信息的保存，通過緩存空間保存網(wǎng)頁(yè)信息的系統(tǒng)，可以為各個(gè)頁(yè)面設(shè)置獨(dú)立的文件用來保存網(wǎng)頁(yè)的基本信息，各個(gè)文件的名字可以按照頁(yè)面中的URL層次來進(jìn)行劃分，本地緩存文件目錄的建立，保存到本地?cái)?shù)據(jù)庫(kù)將抓取到的網(wǎng)頁(yè)，與此同時(shí)還需要抓取頁(yè)面的網(wǎng)頁(yè)標(biāo)題、URL地址、網(wǎng)頁(yè)爬取的時(shí)間、網(wǎng)頁(yè)大小、網(wǎng)頁(yè)類型、保存位置等信息，保存到數(shù)據(jù)庫(kù)中。

（2）頁(yè)面本地化

通過中間的過濾服務(wù)器就得到了比較分析滿足我們要的 Web 頁(yè)面，但是在一定程度上我們的要求還是沒有達(dá)到，我們需要去做的是對(duì) Web 頁(yè)面的內(nèi)容進(jìn)行分析和提取，大致需要被提取的內(nèi)容有：

a 頁(yè)面文本內(nèi)容

b 頁(yè)面的網(wǎng)頁(yè)鏈接地址

c 獲取網(wǎng)頁(yè)中的 css，javascript 腳本

d 獲取網(wǎng)頁(yè)中的圖片文件

e 獲取網(wǎng)頁(yè)中的多媒體文件

最開始我們通過爬蟲獲取得到的網(wǎng)頁(yè)html文件，然后將圖片，多媒體，css，js都抓取下來，接著對(duì)應(yīng)現(xiàn)在的內(nèi)容鏈接進(jìn)行本地化處理，最后再本地頁(yè)面中的鏈接中進(jìn)行修改了，修改后獲取的內(nèi)容通過濾服務(wù)器來進(jìn)行過濾。最后呈現(xiàn)在我們眼前的就是一個(gè)和原來一樣的本地化網(wǎng)頁(yè)了。

參考文獻(xiàn)

篇（7）

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-3973（2013）007-063-03

1 引言

隨著新媒體的飛速發(fā)展與逐漸成熟，新媒體這一媒體形式憑借其便利、便捷的特點(diǎn)獲得了人們的認(rèn)可和關(guān)注。由于新媒體平臺(tái)的數(shù)量增長(zhǎng)，人們已經(jīng)逐漸迷失在浩瀚的網(wǎng)絡(luò)中，無法在有限的時(shí)間內(nèi)及時(shí)、準(zhǔn)確地獲得想要的信息，所以對(duì)新媒體進(jìn)行有效的資源整合成了解決這一問題的首要途徑。本文以四川大學(xué)教務(wù)處網(wǎng)站、四川大學(xué)團(tuán)委網(wǎng)站、四川大學(xué)學(xué)生工作處網(wǎng)站為研究背景，結(jié)合計(jì)算科學(xué)技術(shù)，提出了新媒體資源整合的方法，使廣大的學(xué)生群體在有限的課余時(shí)間內(nèi)準(zhǔn)確、高效地了解校內(nèi)外的資訊。

本文主要工作包括：（1）研究四川大學(xué)網(wǎng)絡(luò)媒體現(xiàn)狀；（2）提出新媒體平臺(tái)數(shù)量增長(zhǎng)背景下，如何及時(shí)、高效地獲取資訊的辦法；（3）介紹新媒體資源整合的核心技術(shù) ― 網(wǎng)絡(luò)爬蟲技術(shù)及相關(guān)關(guān)鍵技術(shù)；（4）結(jié)合網(wǎng)絡(luò)爬蟲技術(shù)設(shè)計(jì)資源整合網(wǎng)站，整合四川大學(xué)教務(wù)網(wǎng)站、學(xué)生工作處網(wǎng)站、團(tuán)委網(wǎng)站的資訊。

2 四川大學(xué)網(wǎng)絡(luò)媒體現(xiàn)狀分析

經(jīng)調(diào)查，四川大學(xué)學(xué)生最經(jīng)常訪問的校園官方網(wǎng)絡(luò)平臺(tái)有“四川大學(xué)教務(wù)處網(wǎng)站”、“四川大學(xué)團(tuán)委網(wǎng)站”、“四川大學(xué)學(xué)生工作處網(wǎng)站”，其主要原因在于以上幾個(gè)網(wǎng)絡(luò)媒體平臺(tái)經(jīng)常頒布貼近學(xué)生校園生活的資訊信息，學(xué)生急需從中獲取及時(shí)的資訊了解校園內(nèi)的實(shí)時(shí)動(dòng)態(tài)?，F(xiàn)階段，四川大學(xué)官方網(wǎng)絡(luò)媒體具有以下幾個(gè)特點(diǎn)：

2.1 資訊重復(fù)出現(xiàn)，缺乏系統(tǒng)性

新媒體飛速發(fā)展，其主要原因在于其便捷和便利的特點(diǎn)。經(jīng)過調(diào)查發(fā)現(xiàn)，四川大學(xué)教務(wù)處網(wǎng)站、團(tuán)委網(wǎng)站、學(xué)生工作處網(wǎng)站上經(jīng)常出現(xiàn)資訊重復(fù)的現(xiàn)象，一則通知或新聞因其工作性質(zhì)與網(wǎng)站直屬單位相同而被同時(shí)在多個(gè)網(wǎng)絡(luò)平臺(tái)上。網(wǎng)頁(yè)的主頁(yè)設(shè)計(jì)中，一般會(huì)將5-8條的資訊顯示在主頁(yè)面上，其余的資訊需點(diǎn)擊“更多”進(jìn)行查看。學(xué)生在瀏覽網(wǎng)站了解資訊時(shí)，主要關(guān)注的就是頁(yè)面中通知欄、新聞欄的即時(shí)信息，很少點(diǎn)擊“更多”查看未全部顯示的信息，如此重復(fù)信息的出現(xiàn)，極可能導(dǎo)致信息的更新而使學(xué)生錯(cuò)過還未閱讀的資訊信息。

2.2 資訊分布廣，使用效率低

資訊分布廣是現(xiàn)階段四川大學(xué)網(wǎng)絡(luò)平臺(tái)的一個(gè)主要特點(diǎn)，同時(shí)也是一個(gè)亟待解決的問題。廣泛的信息分布使學(xué)生在瀏覽信息時(shí)疲于奔命，再加之校園網(wǎng)刷新速度較慢，很大程度上降低了學(xué)生的使用效率。效率降低了，也違背了新媒體這一新興產(chǎn)業(yè)的初衷，高效率的獲取資訊是廣大學(xué)生的需求。

3 及時(shí)、高效地獲取資訊的對(duì)策研究

3.1 及時(shí)性

所謂及時(shí)性，需要使學(xué)生在瀏覽網(wǎng)頁(yè)時(shí)能第一時(shí)間了解到同步更新的資訊。

3.2 高效性

所謂高效性，需要使學(xué)生在有限的時(shí)間內(nèi)盡可能多得獲得有效的資訊。

結(jié)合以上兩點(diǎn)，資源整合概念是解決這一問題的最佳對(duì)策。

資源整合是系統(tǒng)論的思維方式，針對(duì)本文提出的問題，就是要通過科學(xué)化的方法將四川大學(xué)教務(wù)處網(wǎng)站、團(tuán)委網(wǎng)站、學(xué)生工作處網(wǎng)站彼此相關(guān)但又分離的資訊，通過計(jì)算機(jī)科學(xué)技術(shù)的方法整合到一起。

具體方法是設(shè)計(jì)一個(gè)四川大學(xué)資訊整合網(wǎng)站，將三個(gè)網(wǎng)站的通知、新聞獲取到一個(gè)網(wǎng)站上，使學(xué)生在登陸瀏覽一個(gè)網(wǎng)站時(shí)就可以關(guān)注到三個(gè)網(wǎng)站的實(shí)時(shí)信息。同時(shí)，網(wǎng)站將使用自動(dòng)更新技術(shù)實(shí)現(xiàn)及時(shí)性，使用去除重復(fù)的方法實(shí)現(xiàn)高效性。

4 實(shí)現(xiàn)資源整合的核心技術(shù)

網(wǎng)絡(luò)爬蟲是在搜索引擎領(lǐng)域中廣泛使用的技術(shù)，而其主要是根據(jù)用戶的需求，在制定的網(wǎng)絡(luò)范圍內(nèi)搜尋消息。這項(xiàng)技術(shù)可以運(yùn)用在實(shí)現(xiàn)本文提出的資源整合理念上。本節(jié)將概述網(wǎng)絡(luò)爬蟲技術(shù)并介紹實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲相關(guān)技術(shù)。

4.1 網(wǎng)絡(luò)爬蟲技術(shù)概述

網(wǎng)絡(luò)爬蟲是通過網(wǎng)頁(yè)的鏈接地址尋找網(wǎng)頁(yè)的程序，如圖1所示，它從網(wǎng)站的某一個(gè)頁(yè)面開始讀取網(wǎng)頁(yè)的內(nèi)容，找到網(wǎng)頁(yè)的其他鏈接地址，然后不斷地遞歸循環(huán)，直到把網(wǎng)站內(nèi)所需資源遍歷完整為止。

在抓取網(wǎng)頁(yè)的時(shí)候，網(wǎng)絡(luò)爬蟲一般有兩種策略：（1）廣度優(yōu)先策略；（2）深度優(yōu)先策略。

4.2 Java語(yǔ)言

Java語(yǔ)言具有簡(jiǎn)單性、多線程性、與平臺(tái)無關(guān)性的特點(diǎn)。

網(wǎng)絡(luò)爬蟲需要對(duì)多個(gè)頁(yè)面進(jìn)行解析，顯然，單線程的工作效率極低，程序會(huì)因此出現(xiàn)瓶頸。單線程技術(shù)需要一個(gè)接一個(gè)地等待響應(yīng)，等待時(shí)間將是每個(gè)網(wǎng)頁(yè)請(qǐng)求等待響應(yīng)的時(shí)間。因此，多線程是實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲的必要技術(shù)。

4.3 Jsoup Html解析工具

Jsoup是一種Java的Html解析器，可以直接解析某個(gè)URL地址、HTML文本內(nèi)容。Jsoup提供了較為方便的API，可以通過類似于JQuery的操作方法進(jìn)行數(shù)據(jù)操作。

主要功能有：從URL中直接獲取頁(yè)面HTML，使用DOM、CSS選擇器查找、獲取數(shù)據(jù)，實(shí)現(xiàn)對(duì)HTML的簡(jiǎn)單操作。

4.4 JDBC數(shù)據(jù)庫(kù)訪問

篇（8）

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）15-0062-03

1 引言

隨著云時(shí)代的來臨，大數(shù)據(jù)的發(fā)展也越來越成為一種潮流。大數(shù)據(jù)通常用來指公司創(chuàng)造的大量結(jié)構(gòu)化和非機(jī)構(gòu)化化數(shù)據(jù)，這些數(shù)據(jù)被獲取并存放到關(guān)系型數(shù)據(jù)庫(kù)，在分析數(shù)據(jù)時(shí)往往會(huì)花費(fèi)大量的時(shí)間和精力。“大數(shù)據(jù)”在互聯(lián)網(wǎng)領(lǐng)域是指：互聯(lián)網(wǎng)公司在正常運(yùn)行過程中會(huì)生成、累積用戶行為的網(wǎng)絡(luò)數(shù)據(jù)。這些數(shù)據(jù)的規(guī)模是非常龐大，甚至大到不能用G或T的計(jì)量單位來衡量。在大數(shù)據(jù)時(shí)代，爬蟲技術(shù)成為獲取網(wǎng)絡(luò)數(shù)據(jù)的重要方式。

互聯(lián)網(wǎng)金融發(fā)展過程中需要搜集大量的數(shù)據(jù)資源，這個(gè)過程非常關(guān)鍵，并且實(shí)施起來較為困難。金融數(shù)據(jù)的搜集，是通過計(jì)算機(jī)技術(shù)與金融領(lǐng)域相關(guān)知識(shí)的綜合，將金融經(jīng)濟(jì)的發(fā)展與相關(guān)數(shù)據(jù)進(jìn)行集中處理，能夠?yàn)榻鹑陬I(lǐng)域的各個(gè)方面如經(jīng)濟(jì)發(fā)展趨勢(shì)、經(jīng)融投資、風(fēng)險(xiǎn)分析等提供“數(shù)據(jù)平臺(tái)”，真實(shí)的數(shù)據(jù)資源還可以推進(jìn)金融經(jīng)濟(jì)的快速發(fā)展和金融理論的創(chuàng)新。當(dāng)今互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)上也充滿各種金融信息，并且更新速度快，這使互聯(lián)網(wǎng)成為金融領(lǐng)域獲取數(shù)據(jù)資源重要一大方式。例如Butler，Leone，Willenborg和 Frank等公司都是利用互聯(lián)網(wǎng)采集技術(shù)來抓取所需的數(shù)據(jù)資源。

2 互聯(lián)網(wǎng)金融數(shù)據(jù)抓取的特點(diǎn)

2.1 互聯(lián)網(wǎng)上金融方面的數(shù)據(jù)一般具有的特點(diǎn)

1）數(shù)據(jù)量大、種類繁多。對(duì)于一些規(guī)模較小且只需抓取一次的數(shù)據(jù)，一般復(fù)制粘貼或者手工記錄即可，沒有什么技術(shù)上的要求。但是，金融經(jīng)濟(jì)市場(chǎng)領(lǐng)域的數(shù)據(jù)一般規(guī)模巨大，例如需要獲取某個(gè)結(jié)構(gòu)一年的交易記錄，數(shù)據(jù)量就是非常大的，而且數(shù)據(jù)資源往往來源于不同的機(jī)構(gòu)或者不同的部門，想要準(zhǔn)確地獲取數(shù)據(jù)資源不是很容易。

2）可靠性、實(shí)時(shí)性。在研究金融理論或者做金融分析時(shí)，對(duì)數(shù)據(jù)的可靠性、實(shí)時(shí)性要求非常高。金融經(jīng)濟(jì)的發(fā)展模式瞬息萬(wàn)變，更新速度很快，為了及時(shí)的反映市場(chǎng)上經(jīng)濟(jì)發(fā)展?fàn)顩r，要求數(shù)據(jù)的來源具有實(shí)時(shí)性和可靠性。

3）金融經(jīng)濟(jì)領(lǐng)域的數(shù)據(jù)類型一般以文本和數(shù)值型為主，圖片和視屏等多媒體類型的數(shù)據(jù)較少。

4）數(shù)據(jù)一般會(huì)從較官方的網(wǎng)站抓取。為了保證數(shù)據(jù)來源的可靠性和準(zhǔn)確性，數(shù)據(jù)一般從較權(quán)威的機(jī)構(gòu)獲取，例如金融交易所、國(guó)家有關(guān)權(quán)威決策與信息部門和國(guó)內(nèi)外各大互聯(lián)網(wǎng)信息提供商。

5）抓取數(shù)據(jù)的目標(biāo)網(wǎng)頁(yè)主要有兩種類型。第一類是URL固定但是信息實(shí)時(shí)更新的網(wǎng)頁(yè)要定期訪問并獲取數(shù)據(jù)，例如一些網(wǎng)站的股票行情類數(shù)據(jù)；第二類是規(guī)模較大且近似網(wǎng)頁(yè)中具有固定特征的數(shù)據(jù)。例如某些國(guó)家權(quán)威機(jī)關(guān)按時(shí)以某一固定格式各種數(shù)據(jù)報(bào)告。

我們可根據(jù)金融經(jīng)濟(jì)數(shù)據(jù)的這些特點(diǎn)，制定相應(yīng)的方法與策略抓取數(shù)據(jù)資源。對(duì)于地址相對(duì)固定的網(wǎng)頁(yè)，所面臨的數(shù)據(jù)采集問題比較集中，不需要考慮各種技術(shù)因素的變化對(duì)采集的影響，我們可以更有針對(duì)性的收集數(shù)據(jù)，制定更高效、更合理的抓取策略。

2.2 獲取網(wǎng)頁(yè)信息

目前主流的網(wǎng)站開發(fā)技術(shù)主要有php、net和java的Alexa等，雖然說開發(fā)的網(wǎng)頁(yè)格式五花八門，但它們傳輸數(shù)據(jù)的原理都一樣，都是通過超文本傳輸協(xié)議（HTTP協(xié)議）將數(shù)據(jù)資源傳送到客戶的。微軟公司提供的可擴(kuò)展標(biāo)記語(yǔ)言（XML）服務(wù)集合中的組件 MSXML（執(zhí)行或開發(fā)xml所設(shè)計(jì)的程序）里面有個(gè) XMLHTTP瀏覽器對(duì)象。該對(duì)象的原理基于HTTP 協(xié)議的，里面封裝著很多方法和屬性，這些方法和屬性與網(wǎng)站信息雙向交流有關(guān)?？蛻舳苏{(diào)用 XMLHTTP對(duì)象搜集網(wǎng)頁(yè)信息的過程主要包括以下幾個(gè)步驟：

①首先建立XMLHTTP對(duì)象；

②利用XMLHTTP對(duì)象里面的Open方法與服務(wù)端建立連接，制定網(wǎng)頁(yè)的地址（URL）和命令的發(fā)送方式；

③通過XMLHTTP中的Send 方法發(fā)送信息；

④等待服務(wù)端處理并返回結(jié)果。

數(shù)據(jù)的抓取在金融領(lǐng)域的研究中是一個(gè)關(guān)鍵環(huán)節(jié)?；ヂ?lián)網(wǎng)中的數(shù)據(jù)具有規(guī)模龐大、實(shí)時(shí)性、準(zhǔn)確性等特點(diǎn)，為金融經(jīng)濟(jì)的發(fā)展提供了重要的數(shù)據(jù)來源。通過爬蟲技術(shù)抓取數(shù)據(jù)資源，可以高效的在互聯(lián)網(wǎng)海量的數(shù)據(jù)中提取所需的數(shù)據(jù)資源。靈活而方便地定制抓取數(shù)據(jù)地方案，使抓取到的數(shù)據(jù)成為金融經(jīng)濟(jì)發(fā)展的可靠保證。

3 爬蟲技術(shù)的實(shí)現(xiàn)

爬蟲技術(shù)的設(shè)計(jì)是搜索引擎實(shí)現(xiàn)的關(guān)鍵技術(shù)，爬蟲算法的好壞直接關(guān)系到搜索引擎性能的優(yōu)良。經(jīng)過多方面研究表明，“最好優(yōu)先算法”應(yīng)用于多重搜索中效果較好，但是這個(gè)算法本身也存在缺陷，例如收斂速度過快致使搜索的數(shù)據(jù)不全面，“查全率”太低?；谶@個(gè)問題，本文研究如何改進(jìn)這種算法，并實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲。

3.1 網(wǎng)絡(luò)爬蟲的算法分析

爬蟲在整個(gè)網(wǎng)絡(luò)系統(tǒng)中自由搜索，能夠自動(dòng)識(shí)別URL，自動(dòng)下載網(wǎng)頁(yè)，并提取數(shù)據(jù)信息，存放到數(shù)據(jù)庫(kù)中。整個(gè)過程都不需要人工的參與。當(dāng)前主流的爬蟲算法主要有廣度優(yōu)先算法、深度優(yōu)先算法和最好優(yōu)先算法等。傳統(tǒng)的圖算法主要應(yīng)用在第一代web爬蟲索引整個(gè)網(wǎng)絡(luò)，該算法是以一個(gè)網(wǎng)頁(yè)鏈接集作為核心，去遞歸的鏈接其他的網(wǎng)絡(luò)頁(yè)面，不關(guān)心網(wǎng)絡(luò)中的數(shù)據(jù)內(nèi)容，只追求在網(wǎng)絡(luò)上最大的覆蓋率，網(wǎng)頁(yè)的個(gè)數(shù)越多越好。算法如圖1所示。

3.1.1 深度優(yōu)先搜索算法

深度優(yōu)先搜索算法（DFS）在研究爬蟲技術(shù)早期使用較多，它的搜索目標(biāo)是要到達(dá)結(jié)構(gòu)的最外結(jié)點(diǎn)，即搜索到不包含超鏈接的HTML文件。在一個(gè)網(wǎng)頁(yè)中，當(dāng)一個(gè)鏈接被選擇后，鏈接的HTML文件執(zhí)行DFS算法，完整的沿著一條鏈接搜索，走到邊緣節(jié)點(diǎn)為止（即不包含任何鏈接的HTML文件），然后返回上一個(gè)頁(yè)面鏈接的但是未搜索過的頁(yè)面，再沿著這個(gè)搜索到的頁(yè)面執(zhí)行DFS算法即可。直到所有連接到的頁(yè)面被搜索完成，算法結(jié)束。DFS算法的優(yōu)點(diǎn)是能根據(jù)一個(gè)HTML文件查找到其所鏈接的所有HTML文件，能查出這個(gè)網(wǎng)頁(yè)在互聯(lián)網(wǎng)中的鏈接結(jié)構(gòu)。但是DFS算法也有很大的缺點(diǎn)，因?yàn)檎麄€(gè)網(wǎng)絡(luò)的結(jié)構(gòu)是非常深的，各個(gè)網(wǎng)頁(yè)之間的鏈接關(guān)系也很復(fù)雜，很有可能陷入其中就無法返回。對(duì)于圖4-1中的結(jié)構(gòu)，使用深度優(yōu)先遍歷算法的返回結(jié)果是：A-F-G；E-H-I；B；C；D。

3.1.2 寬度優(yōu)先搜索算法

廣度優(yōu)先（BFS），也叫寬度優(yōu)先，在這里的定義就是層層爬行，沿著結(jié)構(gòu)的寬度方向?qū)訉铀阉?。給定一個(gè)網(wǎng)頁(yè)的URL時(shí)，首先搜索這個(gè)URL所鏈接的所有網(wǎng)頁(yè)，遍歷完這網(wǎng)頁(yè)鏈接的所有網(wǎng)頁(yè)之后，再遍歷子網(wǎng)頁(yè)所鏈接的所有網(wǎng)頁(yè)，直至遍歷完所有的網(wǎng)頁(yè)為止，一般采用BFS策略來覆蓋范圍更廣的網(wǎng)頁(yè)。廣度搜索相對(duì)于深度搜索，對(duì)數(shù)據(jù)抓取更容易控制些。對(duì)服務(wù)器的負(fù)載相應(yīng)也明顯減輕了許多，爬蟲的分布式處理使得速度明顯提高。而且BFS算法能夠找到兩個(gè)網(wǎng)頁(yè)之間的最短路徑，并且不會(huì)像DFS那樣使程序陷入深層查找無法返回。缺點(diǎn)查找深層網(wǎng)頁(yè)時(shí)效率較低。對(duì)于圖4-1中的機(jī)構(gòu)，BFS算法的訪問順序?yàn)锳-B；C；D；F-G；E-H-I。

3.1.3 最好優(yōu)先搜索算法

最好優(yōu)先搜索（Best-First）是寬度優(yōu)先搜索的擴(kuò)展，基本算法思想是將各個(gè)節(jié)點(diǎn)表按照據(jù)目標(biāo)的距離排序，再以節(jié)點(diǎn)的估計(jì)距離為標(biāo)準(zhǔn)選擇待擴(kuò)展的節(jié)點(diǎn)。

搜索過程為：

1）先建立一個(gè)搜索圖G，里面包含初始節(jié)點(diǎn)集合S，open=（S）， closed=（）表示空表；

2）若集合open為空，則查找失敗，并退出程序；

3）n = first（open）； remove（n， open）； add（n， closed）；

4）若 n為目標(biāo)結(jié)點(diǎn)，則查找成功 ，并可給出S到n的路徑；

5）否則，擴(kuò)展結(jié)點(diǎn)n， 生成不是n的祖先的后繼結(jié)點(diǎn)集M={m} 把每個(gè)m作為n的后繼結(jié)點(diǎn)加入G；

6）If m沒有在open和closed集合中出現(xiàn)過Then add（m， open）；

7）If m在open集合中有重復(fù)結(jié)點(diǎn)k，且g（m）

8） If m在closed集合中有重復(fù)結(jié)點(diǎn)k，且g（m）

①將closed集合中的結(jié)點(diǎn)k改為結(jié)點(diǎn)m（只需修改主鏈指針和f、g）；

②按后繼元素，修改k在open集合和closed集合中的后繼元素f，g的值；

9） 按f值，按從小到大的順序?qū)pen表中的結(jié)點(diǎn)排序，并重新返回到2步。

這些算法雖然都有各自的優(yōu)點(diǎn)，但是它們的綜合性能都不是很優(yōu)。本文對(duì)這些算法進(jìn)行了測(cè)試，結(jié)果表明最好最優(yōu)搜索算法在爬蟲技術(shù)應(yīng)用上性能最佳。所以重點(diǎn)對(duì)Best-First算法進(jìn)行研究并發(fā)現(xiàn)，雖然算法查找網(wǎng)頁(yè)的準(zhǔn)確率很高，但是由于算法存在收斂速度過快的缺點(diǎn)，使得不能在較大規(guī)模的網(wǎng)絡(luò)上全面查找數(shù)據(jù)，即“查全率”太低。如何設(shè)計(jì)程序，提高最好最優(yōu)算法的“查全率”才是網(wǎng)絡(luò)爬蟲技術(shù)實(shí)現(xiàn)的關(guān)鍵問題。

3.2 算法改進(jìn)

對(duì)圖2中的網(wǎng)絡(luò)模型進(jìn)行最佳優(yōu)先算法的搜索，假設(shè)A1，A3，B1，B2，B3，B4，B5是相關(guān)的URL，A2是干擾頁(yè)面，網(wǎng)絡(luò)爬蟲從A1開始查找。算法思想是：爬蟲程序經(jīng)過一定的計(jì)算，如果發(fā)現(xiàn)A2是不是查找目標(biāo)，但是發(fā)現(xiàn)A1是要查找的網(wǎng)絡(luò)頁(yè)面，程序就會(huì)把A2的鏈接直接忽略掉，沿著A1的鏈接繼續(xù)搜索。這樣就會(huì)導(dǎo)致A3、B2、B3、B4、B5這些相關(guān)的頁(yè)面被爬蟲程序給忽略掉，從而大大降低了搜索效果，不能時(shí)爬蟲全面搜索整個(gè)網(wǎng)絡(luò)頁(yè)面。

其中：A1、A3、B1、B2、B3、B4、B5是相關(guān)頁(yè)面；

A2是干擾頁(yè)面；

C0、C1、C2、C3、C4、C5、C6是訪問路徑。

本文提出的改進(jìn)算法思想是，當(dāng)查找到A2頁(yè)面時(shí)，雖然這個(gè)頁(yè)面與主題無關(guān)，但程序并不忽略這個(gè)鏈接，而是暫時(shí)保存起來，然后爬蟲程序計(jì)算A2所鏈接的頁(yè)面中是否存在需要用戶需要查找的頁(yè)面。算法設(shè)定一個(gè)參數(shù)f記錄crawler在遇到干擾頁(yè)面的鏈接時(shí)搜索的深度。只有當(dāng)爬蟲程序在搜索到f深度仍然沒有發(fā)現(xiàn)所需要的頁(yè)面，這時(shí)才會(huì)A2頁(yè)面忽略掉。例如在上圖中，如果爬蟲經(jīng)過c2、c3、c4、c5、c6這幾條路徑能夠找到相關(guān)頁(yè)面，就說明A2這個(gè)網(wǎng)頁(yè)包含很多所需要的網(wǎng)頁(yè)鏈接。根據(jù)這個(gè)思想，對(duì)最好優(yōu)先搜索算了進(jìn)行改進(jìn)，以提高爬蟲程序的“查全率”。改進(jìn)算法利用了JAVA中的多線程機(jī)制，核心算法如下：

BF-BF（topic，starting-urls）{

link_1=fetch link（starting_url）；

While（visited

doc=fetch（link_1）；

if（score_r1>r1）

{ enqueue_1（frontier，extract_links（doc），score_r1）； }

else

{score_r2=link_score_r2（D，links）；

if（score_r2>r2）

enqueue_1（frontier，extract_links（doc），score_r2）；

else

enqueue_2（links）； }}}

4 結(jié)束語(yǔ)

本文闡述了爬蟲技術(shù)在互聯(lián)網(wǎng)中的應(yīng)用，并以爬蟲搜索方法為研究目標(biāo)，通過Java多線程對(duì)其中的最好最全算法進(jìn)行算法實(shí)現(xiàn)。隨著硬件技術(shù)、信息技術(shù)和物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，未來必將會(huì)出現(xiàn)大規(guī)?；诰W(wǎng)頁(yè)信息攫取的算法設(shè)計(jì)，各種新型的網(wǎng)絡(luò)應(yīng)用協(xié)議也會(huì)不斷問世，這些技術(shù)成果都將極大地促進(jìn)各類異構(gòu)網(wǎng)絡(luò)的融合過程，進(jìn)一步提高計(jì)算機(jī)通信網(wǎng)絡(luò)的數(shù)據(jù)分析功能。

參考文獻(xiàn)：

[1] Otis Gospodnetic，Erik Hatcher.Lucene IN ACTION[M]. Manning Publication Co，2006.

[2] 袁津生，李群. 搜索引擎基礎(chǔ)教程[M]. 清華大學(xué)出版社，2010.

篇（9）

一、引言

互聯(lián)網(wǎng)的使用已經(jīng)滲入到社會(huì)的各個(gè)層面，特別是教育領(lǐng)域，為高等院校的本科教學(xué)提供了龐大的信息資源，但要從這么大的資源庫(kù)中尋找到自己需要的內(nèi)容卻是非常難。高校師生經(jīng)常會(huì)使用像google、baidu等搜索引擎來幫助尋找自己要的資源。但其超大規(guī)模的分布式數(shù)據(jù)源、異構(gòu)的數(shù)據(jù)及信息的檢索質(zhì)量不高等問題造成用戶很難找到真實(shí)要用的信息，使其無法直接為高校師生提供資源服務(wù)。為了解決這一問題，本文探究了一種基于聚焦搜索引擎的課程資源庫(kù)建設(shè)方案，為高校師生提供課程信息資源的檢索服務(wù)。

二、聚焦搜索引擎實(shí)現(xiàn)策略

聚焦搜索引擎是實(shí)現(xiàn)基于主題的信息采集功能的核心組成部分，一般由爬行隊(duì)列、網(wǎng)絡(luò)連接器、主題模型、內(nèi)容相關(guān)度分析以及鏈接相關(guān)度分析等功能模塊組成。

其中，爬行隊(duì)列是由一系列主題相關(guān)度較高的URL組成。爬行隊(duì)列在聚焦搜索引擎進(jìn)行主題搜索之初是由種子站點(diǎn)組成，這些種子站點(diǎn)可以由該行業(yè)領(lǐng)域的專家給出，也可以借助一些權(quán)威網(wǎng)站自動(dòng)生成。在搜索過程開始之后，系統(tǒng)發(fā)現(xiàn)新的URL，并根據(jù)主題相關(guān)度對(duì)其排序后補(bǔ)充到爬行隊(duì)列中。網(wǎng)絡(luò)連接器則根據(jù)爬行隊(duì)列中的URL，與網(wǎng)絡(luò)建立連接后以下載其所指頁(yè)面內(nèi)容。

主題模型由主題建模方法來實(shí)現(xiàn)。主題詞法是常用的主題建模方法；關(guān)鍵詞法以一組特征關(guān)鍵詞來表示主題內(nèi)容，包括用戶需求主題，以及文檔內(nèi)容主圖。一個(gè)關(guān)鍵詞可以是單個(gè)的詞、短語(yǔ)、包括權(quán)重語(yǔ)種等屬性。

內(nèi)容相關(guān)度分析是指系統(tǒng)對(duì)經(jīng)過內(nèi)容特征提取后的網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行分析，判定網(wǎng)頁(yè)內(nèi)容與指定主題相關(guān)度如何，過濾無關(guān)頁(yè)面，保留相關(guān)度達(dá)到閾值的網(wǎng)頁(yè)。

鏈接相關(guān)度分析是指系統(tǒng)對(duì)從網(wǎng)頁(yè)中提取的超鏈信息進(jìn)行測(cè)算，得出每個(gè)URL所指頁(yè)面與指定主題的相關(guān)度，將符合主題度要求的URL加入到爬行隊(duì)列中并對(duì)其進(jìn)行爬行優(yōu)先度排序，以保證相關(guān)度高的頁(yè)面優(yōu)先被檢索到。

檢索器為用戶提供查詢界面，根據(jù)用戶提出的檢索式對(duì)索引數(shù)據(jù)庫(kù)進(jìn)行檢索，按相關(guān)度高低對(duì)查詢結(jié)果排序后將頁(yè)面鏈接及相關(guān)信息返回給用戶。

管理平臺(tái)負(fù)責(zé)對(duì)整個(gè)系統(tǒng)進(jìn)行監(jiān)控和管理。主要實(shí)現(xiàn)確定主題、初始化爬行器、控制爬行過程、協(xié)調(diào)優(yōu)化模塊間功能實(shí)現(xiàn)、用戶交互等功能。作為一個(gè)完善的搜索引擎，管理平臺(tái)還應(yīng)供跨平臺(tái)應(yīng)用網(wǎng)絡(luò)服務(wù)應(yīng)用接口。

三、基于聚焦搜索引擎的課程資料庫(kù)建設(shè)所需技術(shù)

1、數(shù)據(jù)庫(kù)技術(shù)：數(shù)據(jù)管理是現(xiàn)代計(jì)算機(jī)的一項(xiàng)重要應(yīng)用，對(duì)數(shù)據(jù)進(jìn)行分類、組織、編碼、存儲(chǔ)、檢索和維護(hù)的利用。數(shù)據(jù)庫(kù)技術(shù)為應(yīng)用程序提供了更為標(biāo)準(zhǔn)和開放式的接口。

2、面向?qū)ο蠹夹g(shù)：面向?qū)ο蠹夹g(shù)對(duì)于復(fù)雜知識(shí)單元的結(jié)構(gòu)表示，課程資源庫(kù)的構(gòu)件化集成、信息處理模塊的整和等都是至關(guān)重要的。本建設(shè)課題以J2EE開發(fā)平臺(tái)為基礎(chǔ)。

3、網(wǎng)絡(luò)技術(shù)：計(jì)算機(jī)網(wǎng)絡(luò)將地理位置不同并具有獨(dú)立功能的多臺(tái)計(jì)算機(jī)系統(tǒng)通過通信設(shè)備和線路連接起來，以功能完善的網(wǎng)絡(luò)軟件實(shí)現(xiàn)網(wǎng)絡(luò)資源共享的系統(tǒng)。

4、人工智能技術(shù)：人工智能從學(xué)習(xí)者的結(jié)構(gòu)特征、知識(shí)的表示等方面來進(jìn)一步培養(yǎng)學(xué)習(xí)都能從龐大的知識(shí)庫(kù)從尋找到有價(jià)值的，值得學(xué)習(xí)的資料。

四、基于聚焦搜索引擎的課程資料庫(kù)的開發(fā)步驟

本系統(tǒng)首先對(duì)web中存在的相關(guān)指定課程資源的頁(yè)面進(jìn)行搜索，然后對(duì)搜索到的網(wǎng)頁(yè)進(jìn)行預(yù)處理與結(jié)構(gòu)分析，再?gòu)木W(wǎng)頁(yè)中提取多媒體資源的相關(guān)文本，相關(guān)文本進(jìn)行拼音及英文翻譯轉(zhuǎn)換、中文分詞、關(guān)鍵詞過濾提取等操作，最終形成對(duì)指定課程相關(guān)資源進(jìn)行描述的信息庫(kù)。

1、搜集指定課程資源網(wǎng)頁(yè)。利用網(wǎng)絡(luò)資源搜索器baidu或google等搜索與多媒體相關(guān)的web頁(yè)面，利用頁(yè)面的HTML標(biāo)簽等屬性計(jì)算機(jī)內(nèi)容相似度。這個(gè)過程中包括將html代碼保存在一起，組建一個(gè)資源庫(kù)，利用搜索策略決定搜索器的爬行主題和爬行方向，提高搜索引擎的準(zhǔn)確率。

2、分析資源網(wǎng)頁(yè)和定位多媒體區(qū)域。獲取charset的屬性值，判斷網(wǎng)頁(yè)的編碼語(yǔ)言和編碼類型。接著定位多媒體區(qū)域，利用網(wǎng)頁(yè)結(jié)構(gòu)圖判斷資源的表格區(qū)域，將與資源描述相關(guān)的文本定位，尤其是那些導(dǎo)航文本對(duì)于資源的搜索非常重要。通過一定的算法將干擾的文本區(qū)域或干擾文本剔除，保留有利用價(jià)值的文本。

3、提取指定課程資源相關(guān)文本信息。

4、入庫(kù)所抓取的關(guān)鍵信息。提取的相關(guān)文本信息，只是做了一個(gè)關(guān)鍵字的選擇，還要將這些關(guān)鍵字入庫(kù)到數(shù)據(jù)庫(kù)，這部分工作就是信息入庫(kù)工作。

5、利用管理平臺(tái)負(fù)責(zé)對(duì)整個(gè)系統(tǒng)進(jìn)行監(jiān)控和管理。主要實(shí)現(xiàn)指定所要抓取的課程資源類型、關(guān)鍵詞、初始化爬行器、控制爬行過程、實(shí)現(xiàn)最終所抓取資源檢索、提取、展示等功能。

6、使用的開發(fā)工具：J2EE開發(fā)平臺(tái)（JDK1.6、Myeclipse7.0、Tomcat服務(wù)器）。開發(fā)方式：基于BOTjar包和1ucene＿cnjar包的二次開發(fā)，充分利用JAVA網(wǎng)絡(luò)爬蟲的開源代碼，來建立課程資源庫(kù)資料搜索和爬取的聚焦爬蟲。

五、結(jié)束語(yǔ)

在互聯(lián)網(wǎng)中進(jìn)行課程相關(guān)資源的搜索與聚焦爬蟲技術(shù)的結(jié)合具有重要意義。將本文提出的方法與課程資源所需內(nèi)容分析相結(jié)合，全面準(zhǔn)確的提取網(wǎng)絡(luò)中課程所需的有關(guān)信息，可提高資源的查準(zhǔn)率和查全率，能夠更有效的促進(jìn)網(wǎng)絡(luò)資源更好的利用，從而可以建設(shè)本科各門專業(yè)課程的課程資源庫(kù)，并為高校師生提供良好的信息資源服務(wù)。

參考文獻(xiàn)：

篇（10）

（1）對(duì)所有不含有要抓取的結(jié)構(gòu)化信息頁(yè)面的 URL、又不含有可以集中提取前者 URL 的種子型 URL，都不作處理。

（2）從可以集中提取含結(jié)構(gòu)化信息頁(yè)面 URL 的種子型 URL（如地方新聞目錄 URL），提取全部的含結(jié)構(gòu)化信息頁(yè)面的 URL（如地方信息列表 URL）。

（3）從含結(jié)構(gòu)化信息頁(yè)面的 URL 提取所需的結(jié)構(gòu)化信息，并加以記錄。

3.2.2 擴(kuò)展 Frontierscheduler模塊

FrontierScheduler 是一個(gè) PostProcessor，其作用是將 Extractor所分析得出的鏈接加入到 Frontier 中，以待繼續(xù)處理，聚焦爬蟲實(shí)現(xiàn)關(guān)鍵詞對(duì)主題的判斷算法就在該模塊中構(gòu)建并執(zhí)行。主題相關(guān)度判斷的關(guān)鍵代碼如下：

public void GetCount（String path，CandidateURI caUri）

{//判斷待抓取網(wǎng)頁(yè)與主題是否相關(guān)

try {

String s=sb.getStrings（）；//s 取網(wǎng)頁(yè)正文字符

Len=length（s）；//求網(wǎng)頁(yè)字符數(shù)

float d=0；//初始化 d，用于計(jì)算所有導(dǎo)向詞的權(quán)重和

for（int i=0；i

{count=0，int j=1；//count為導(dǎo)向詞出現(xiàn)次數(shù)，j 為導(dǎo)向詞在字符串的位置

t= length（a[i]）；//求第 i 個(gè)導(dǎo)向詞的字符個(gè)數(shù)

While（j

int index=s.indexOf（a[i]，j，len）；//查找字串在 j+1 到 end 之間第一個(gè)字符首次出現(xiàn)的位置

if（index！=-1）//找到后，繼續(xù)在余下的字符串中找

{count++；

j=index+t+1；}

Else

Break；

}

D（i）=count*b（i）；//D（i）是第 i 個(gè)導(dǎo)向詞的權(quán)重，b（i）表示 i 個(gè)導(dǎo)向詞的權(quán)值。

d=d+ D（i）；//將所有導(dǎo)向詞的權(quán)重求和

}

k=1/len * 1/100 * d；//k 是網(wǎng)頁(yè)主題相關(guān)度，len是文章字符數(shù)，100個(gè)導(dǎo)向詞

if（k>0.6） ； //相關(guān)度判斷

{System.out.println（"count："+count）；//表示輸出

getController（）.getFrontier（）.schedule（caUri）； //當(dāng)前 url 加入 heritix 采集隊(duì)列 }

}

3.3 Heritrix聚焦爬蟲接口的設(shè)計(jì)

Heritrix 網(wǎng)絡(luò)爬蟲是一個(gè)通用的網(wǎng)頁(yè)采集工具，需要對(duì)Heritrix 抓取和分析網(wǎng)頁(yè)的行為進(jìn)行一定的控制，修改Extractor和 Frontierscheduler模塊后，需要對(duì)其各個(gè)功能接口進(jìn)行操作調(diào)試，由此保證聚焦爬蟲功能的全面實(shí)現(xiàn)。下面即對(duì)重要功能接口進(jìn)行必要介紹。

（1）應(yīng)用接口

在設(shè)計(jì)聚焦爬蟲時(shí)，應(yīng)定制一個(gè)應(yīng)用接口模塊以供用戶使用，具體將負(fù)責(zé)與Heritrix 軟件關(guān)聯(lián)，以提供啟、停爬蟲、獲取網(wǎng)址、采集關(guān)鍵詞等功能實(shí)現(xiàn)。

（2）數(shù)據(jù)庫(kù)查詢和修改接口

在設(shè)計(jì)聚焦爬蟲時(shí)，應(yīng)設(shè)計(jì)相應(yīng)的數(shù)據(jù)庫(kù)接口，負(fù)責(zé)下載并發(fā)現(xiàn)與主題相關(guān)的網(wǎng)頁(yè)信息、再保存到數(shù)據(jù)庫(kù)的表中。存儲(chǔ)的字段包括：網(wǎng)頁(yè)URL，本地存儲(chǔ)相對(duì)路徑，下載時(shí)間，HTTP頭中抽取的網(wǎng)頁(yè)編碼，關(guān)鍵詞id等。

（3）去重接口

因?yàn)镠eritrix對(duì)相同的URL不進(jìn)行替換，爬蟲工作時(shí)會(huì)下載大量重復(fù)的網(wǎng)頁(yè)，為了節(jié)省空間、并獲取準(zhǔn)確的采集結(jié)果，就必須按照設(shè)定規(guī)則對(duì)重復(fù)下載的網(wǎng)頁(yè)進(jìn)行刪除。

4 結(jié)束語(yǔ)

通過以上對(duì)開源Heritrix軟件的改進(jìn)，聚焦爬蟲已能根據(jù)預(yù)設(shè)的關(guān)鍵詞進(jìn)行網(wǎng)站抓取，并按照算法判斷，當(dāng)網(wǎng)頁(yè)的主題相關(guān)度閾值大于0.6時(shí)，即聚焦爬蟲下載網(wǎng)頁(yè)，至此爬蟲實(shí)現(xiàn)了指定網(wǎng)站的主題搜索。綜上可見，可以改進(jìn)開源網(wǎng)絡(luò)爬蟲并使其在垂直搜索引擎中獲得成功立項(xiàng)使用。

參考文獻(xiàn)：

[1]劉運(yùn)強(qiáng). 垂直搜索引擎的研究與設(shè)計(jì)[J]. 計(jì)算機(jī)應(yīng)用與軟件，2010， 127（7）： 130-132.

[2]劉偉光. 一種基于改進(jìn)向量空間模型的藏文主題網(wǎng)頁(yè)采集方法[J]. 圖書館學(xué)研究，2014， 16：55-62.

[3]陳歡. 面向垂直搜索引擎的聚焦網(wǎng)絡(luò)爬蟲關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D]. 華中師范大學(xué)， 2014.