前 言


搜索引擎本身作為一門綜合性的互聯(lián)網(wǎng)技術(shù)，在行業(yè)中一直具備較高的關(guān)注度。隨著最近幾年大數(shù)據(jù)的發(fā)展，搜索引擎的關(guān)注度越來越高，原因在于搜索引擎技術(shù)是大數(shù)據(jù)應(yīng)用最前線的領(lǐng)域，也是最容易產(chǎn)生價值的大數(shù)據(jù)應(yīng)用。大數(shù)據(jù)存儲、大數(shù)據(jù)計算都是從搜索引擎中衍生出的新領(lǐng)域。目前搜索引擎技術(shù)的發(fā)展不僅以大數(shù)據(jù)為基礎(chǔ)，還利用分布式實時計算對數(shù)據(jù)進行高性能處理，以及利用機器學(xué)習(xí)將數(shù)據(jù)變得更具價值。在行業(yè)中吸引了包括搜索研發(fā)工程師、算法研發(fā)工程師、大數(shù)據(jù)分析工程師、自然語言處理工程師、計算平臺架構(gòu)師、數(shù)據(jù)挖掘工程師等行業(yè)各類精英的關(guān)注，這些工程師占據(jù)了整個互聯(lián)網(wǎng)研發(fā)體系的50%～60%，在BAT中，甚至超過60%的是研發(fā)人員。


這類群體薪資水平處于互聯(lián)網(wǎng)研發(fā)人員中較高水平，以獵聘網(wǎng)公布的數(shù)據(jù)顯示，北京地區(qū)搜索引擎研發(fā)工程師年薪為35萬～60萬元，大數(shù)據(jù)工程師年薪為20萬～25萬元，大數(shù)據(jù)架構(gòu)師年薪為40萬～70萬元，等等。也正是由于薪資水平處于較高位，很多互聯(lián)網(wǎng)相關(guān)從業(yè)者也積極關(guān)注大數(shù)據(jù)搜索引擎領(lǐng)域動態(tài)。


本書通過介紹大數(shù)據(jù)下的自然語言處理框架、大數(shù)據(jù)存儲引擎、搜索引擎的分布式實時計算、高性能可擴展爬蟲，以及利用大數(shù)據(jù)構(gòu)建知識圖譜、基于大數(shù)據(jù)日志的搜索引擎反饋學(xué)習(xí)等相關(guān)信息，不僅使讀者對當(dāng)代搜索引擎研發(fā)體系有一定的認識，還可以使讀者在搜索引擎領(lǐng)域及大數(shù)據(jù)領(lǐng)域進行深入思考。


本書特色


本書以當(dāng)前搜索引擎主流技術(shù)為基礎(chǔ)，密切結(jié)合前沿技術(shù)發(fā)展趨勢，行文通俗易懂，由初步的原理性了解到各模塊應(yīng)用示例，并結(jié)合分布式存儲、實時計算等，向讀者提供了一套完整的大數(shù)據(jù)時代背景下人工智能搜索引擎的解決方案。


（1）內(nèi)容循序漸進、行文有條有序地介紹搜索引擎知識。


本書充分考慮了不同層次的讀者對搜索引擎的理解程度，因此本書由簡入深、獨特的技術(shù)寫作視角符合廣大讀者對于技術(shù)類讀物的理解需求，使得讀者能夠在掌握搜索引擎基礎(chǔ)的情況下，不斷按照搜索引擎的設(shè)計深入理解。


（2）技術(shù)前瞻性強，注重最新主流技術(shù)在現(xiàn)代搜索引擎中的應(yīng)用。


本書充分利用了最新技術(shù)發(fā)展的應(yīng)用成果，在自然語言處理的基礎(chǔ)上不僅結(jié)合大數(shù)據(jù)分析，還包括分布式計算、機器學(xué)習(xí)、知識圖譜等當(dāng)前大數(shù)據(jù)應(yīng)用與分析處理的主流技術(shù)，摒棄了傳統(tǒng)過時的研發(fā)體系及算法。本書中相關(guān)研發(fā)成果在當(dāng)前甚至在未來3～5年，都具有實際意義。


（3）將技術(shù)理論與應(yīng)用范例結(jié)合，具備較高的商業(yè)實用價值。


本書內(nèi)容緊密結(jié)合當(dāng)前一線工程師工作研究成果，將眾多的技術(shù)理論以實際工作經(jīng)驗的方式展示應(yīng)用效果。本書介紹的內(nèi)容也廣泛結(jié)合工作中的應(yīng)用示例，并以搜索引擎工程實踐的脈絡(luò)流程介紹技術(shù)要點，使讀者在短時間內(nèi)能夠掌握當(dāng)前搜索引擎研發(fā)的技術(shù)理論。


本書結(jié)構(gòu)


本書按照由淺入深、循序漸進的順序?qū)ΜF(xiàn)代搜索引擎原理和實現(xiàn)進行介紹。全書分為10章，各章的主要內(nèi)容如下。


第1章針對搜索引擎發(fā)展的過去、現(xiàn)在、未來的相關(guān)概要介紹，以及現(xiàn)代搜索引擎與大數(shù)據(jù)、人工智能的相互關(guān)系，使廣大讀者能夠在了解現(xiàn)代搜索引擎的背景之下，去了解本書的后續(xù)內(nèi)容。


第2章是對搜索引擎原理與技術(shù)的初步分析，從模塊方面大致介紹爬蟲、索引、緩存等；從技術(shù)方面大致介紹自然語言處理、知識圖譜技術(shù)、海量數(shù)據(jù)存儲、分布式計算等。目的是使得讀者對搜索引擎的體系結(jié)構(gòu)、部分技術(shù)有一定認識，便于讀者深入了解后續(xù)章節(jié)。


第3章從自然語言角度開始深入分析原理和實現(xiàn)，自然語言是搜索引擎進行文本處理的基礎(chǔ)，其中包括分詞、詞性分析、語義分析、關(guān)鍵詞抽取、核心句抽取、聚類分類等。讀者將會從本章中獲得當(dāng)前主流的自然語言處理技術(shù)相關(guān)知識。


第4章主要是針對大數(shù)據(jù)存儲引擎的介紹。大數(shù)據(jù)存儲是搜索引擎最先遇到的問題，解決數(shù)據(jù)存儲問題可以使搜索引擎在數(shù)據(jù)分析、索引構(gòu)建、知識圖譜等工作持續(xù)進行。讀者在本章會了解到大數(shù)據(jù)存儲引擎的架構(gòu)體系、數(shù)據(jù)模型、數(shù)據(jù)壓縮、負載均衡等。


第5章介紹了分布式實時計算。由于搜索引擎處理的是海量數(shù)據(jù)，數(shù)據(jù)分析必須依靠具有較強數(shù)據(jù)處理能力的計算平臺，因此搜索引擎通過分布式實時計算去處理大數(shù)據(jù)并在盡可能短的時間內(nèi)返回處理結(jié)果。本章中，讀者會了解到分布式實時計算設(shè)計架構(gòu)、負載均衡及通信設(shè)計等相關(guān)知識。


第6章對爬蟲進行了深入分析。讀者在本章中將會深入理解分布式可擴展爬蟲的體系架構(gòu)，以及對網(wǎng)頁如何進行解析，并抽取出結(jié)構(gòu)化的數(shù)據(jù)信息。本章還涉及鏈接去重、網(wǎng)頁去重、廣告識別等相關(guān)算法原理。


第7章詳細介紹了知識圖譜構(gòu)建。知識圖譜是智能化搜索引擎重要的組成部分，利用大數(shù)據(jù)分析構(gòu)建出較為合理的知識圖譜信息是當(dāng)前主流的方式。讀者將會從本章中深入了解到知識圖譜的詳細構(gòu)建過程，以及利用機器學(xué)習(xí)原理對知識圖譜中的實體抽取、關(guān)系抽取等相關(guān)技術(shù)進行。


第8章詳細分析了索引構(gòu)建機制。索引的設(shè)計與構(gòu)造是搜索引擎能夠進行快速檢索的核心要件，主要針對文件檢索的倒排索引與用于智能提示的字典樹索引。本章不僅對倒排索引做了深入分析，對倒排索引的壓縮、分布式存儲等也做了詳細介紹。


第9章深入分析了搜索引擎的整個對外服務(wù)工作流程。包括大數(shù)據(jù)分布式緩存、搜索智能提示、個性化搜索、圖片搜索、搜索與廣告等。讀者通過本章可以詳細了解到文本糾錯算法、動態(tài)摘要算法、網(wǎng)頁排序算法及搜索引擎的評價


體系。


第10章探討和分析了搜索引擎日志與搜索引擎本身的關(guān)系。搜索引擎日志記錄了用戶與搜索系統(tǒng)交互的整個流程。通過日志挖掘，不僅可以發(fā)現(xiàn)用戶的自有特征和行為規(guī)律，還可以有效地幫助搜索引擎提升性能和效果。日志作為搜索引擎的核心數(shù)據(jù)之一，一直使搜索引擎技術(shù)中的各類算法不斷向前發(fā)展。讀者通過本章將學(xué)會通過搜索引擎日志分析用戶特征、用戶的部分搜索意圖等相關(guān)知識。


讀者對象


適合對自然語言處理及機器學(xué)習(xí)應(yīng)用領(lǐng)域有興趣的讀者。


適合對現(xiàn)代搜索引擎相關(guān)算法有興趣的讀者。


適合對大數(shù)據(jù)分析、數(shù)據(jù)挖掘應(yīng)用有興趣的讀者。


適合互聯(lián)網(wǎng)行業(yè)的不同層次從業(yè)者。


適合從事搜索引擎優(yōu)化的網(wǎng)絡(luò)營銷讀者。


適合高校中學(xué)習(xí)計算機、軟件工程等相關(guān)專業(yè)的讀者。






收起全部↑