搜索引擎的工作原理

1.計算機自動搜索型

計算機自動搜索型的“網絡機器人”多或“網絡蜘蛛”是一種網絡上的軟件，它遍歷Web空間，能夠掃描一定lP地址范圍內的網站，并沿著網絡上的鏈接從一個網頁到另一個網頁，從一個網站到另一個網站采集網頁資料。為保證采集的資料最新，它還會回訪已抓取過的網頁。網絡機器人或網絡蜘蛛采集的網頁，還要有其他程序進行分析，根據(jù)一定的相關度算法進行大量的計算建立網頁索引，才能添加到索引數(shù)據(jù)庫中。我們平時看到的計算機自動搜索型，實際上只是一個搜索引擎系統(tǒng)的檢索界面，當輸入關鍵詞進行查詢時，搜索引擎會從龐大的數(shù)據(jù)庫中找到符合該關鍵詞的所有相關網頁的索引，并按一定的排名規(guī)則呈現(xiàn)出來。不同的搜索引擎，網頁索引數(shù)據(jù)庫不同，排名規(guī)則也不盡相同，所以，當以同一關鍵詞用不同的搜索引擎查詢時，搜索結果也就不相同。

2.人工分類目錄型

和計算機自動搜索型一樣，人工分類目錄型的整個工作過程也同樣分為收集信息、分折信息和查詢信息三部分，只不過人工分類目錄型的收集，分析信息兩部分主要依靠人工完成。人工分類目錄型一般都有專門的編輯人員，負責收集網站的信息。隨著收錄站點的增多，現(xiàn)在一般都是由站點管理者向人工分類日錄型遞交自己的網站信息，然后由人工分類目錄型的編輯人員審核遞交的網站，以決定是否收錄該站點。如果該站點審核通過,人工分類目錄型的編輯人員還需要分析該站點的內容，并將該站點放在相應的類別和目錄中。所有這些收錄的站點同樣被存放在一個“索引數(shù)據(jù)庫”中，。用戶在查詢信息時，可以選擇按照關鍵詞搜索，也可按人工分類目錄型逐層查找。如以關鍵詞搜索，返回的結果與計算機自動搜索型一樣,也是根據(jù)信息關聯(lián)程度排列網站。需要注意的是：人工分類目錄型的關鍵詞查詢只能在網站的名稱、網址、簡介等內容中進行，它的查詢結果也只是被收錄網站首頁的URL地址，而不是具體的頁面。人工分類目錄型就像一個電話號碼簿，按照各個網站的性質，把其網址分門別類排在一起，大類下面套著小類，一直到各個網站的詳細地址，一般還會提供各個網站的內容簡介，用戶不使用關鍵詞也可進行查詢，只要找到相關目錄，就完全可以找到相關的兩站(注意：是相關的網站，而不是這個網站上某個網頁的內容，某一目錄中網站的排名一般是按照標題字母的先后順序收錄的時間順序決定的)。

3.主要工作步驟

不管是計算機自動搜索型，還是人工分類目錄型，其搜索引擎的主要工作步驟如下。

1)從互聯(lián)網上抓取網頁

通過“網絡蜘蛛”或人工收集的方法，從互聯(lián)網抓取網頁，存放到數(shù)據(jù)庫中。

2)建立索引數(shù)據(jù)庫

由分析索引系統(tǒng)程序對收集回來的網頁進行分析，提取相關網頁信息(括網頁所在URL、編碼類型、頁面內容包含的關鍵詞、關鍵詞位置、生成時間、大小、與其他網頁的鏈接關系等)，根據(jù)一定的相關度算法進行大量復雜計算，得到每一個網頁針對頁面內容中及超鏈中每一個關鍵詞的相關度(或重要性)，然后用這些相關信息建立網頁索引數(shù)據(jù)庫。

3)在索引數(shù)據(jù)庫中搜索排序

當用戶輸人關鍵詞搜索后，由搜索系統(tǒng)程序從網頁索引數(shù)據(jù)庫中找到符合該關鍵詞的所有相關網頁。因為所有相關網頁針對該關鍵詞的相關度早已算好，所以只需按照現(xiàn)成的相關度數(shù)值排序，相關度越高，排名越靠前。最后，由頁面生成系統(tǒng)將搜索結果的鏈接地址和頁面內容摘要等內容組織起來返回給用戶。