大數(shù)據(jù)的迅猛發(fā)展是數(shù)字設(shè)備計(jì)算能力增長(zhǎng)的必然結(jié)果，但巨大的數(shù)據(jù)量也給數(shù)據(jù)的存儲(chǔ)、管理以及分析帶來(lái)了極大的挑戰(zhàn)。一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部?jī)?nèi)容可以刻滿1.68億張DVD，發(fā)出的郵件有2940億封之多（相當(dāng)于美國(guó)兩年的紙質(zhì)信件數(shù)量），發(fā)出的社區(qū)帖子達(dá)200萬(wàn)個(gè)（相當(dāng)于《時(shí)代》雜志770年的文字量）。顯然，依賴單個(gè)設(shè)備處理能力的傳統(tǒng)數(shù)據(jù)處理技術(shù)早已無(wú)法滿足如此大規(guī)模數(shù)據(jù)的存儲(chǔ)和處理需求，數(shù)據(jù)管理方式的變革已呼之欲出。

鑒于此，以Google等為代表的一些數(shù)據(jù)處理公司研發(fā)了橫向的分布式文件存儲(chǔ)、分布式數(shù)據(jù)處理和分布式數(shù)據(jù)分析技術(shù)，很好地解決了數(shù)據(jù)爆炸所產(chǎn)生的各種問(wèn)題，并由此開發(fā)了以Hadoop為核心的開源大數(shù)據(jù)處理系統(tǒng)和以HBase為核心的開源數(shù)據(jù)庫(kù)系統(tǒng)等。這些系統(tǒng)的共同特點(diǎn)是：通過(guò)采用計(jì)算機(jī)節(jié)點(diǎn)集群橫向擴(kuò)展數(shù)據(jù)處理能力，使程序能在集群上并行執(zhí)行，從而實(shí)現(xiàn)了對(duì)海量數(shù)據(jù)的存儲(chǔ)、處理和檢索。目前，這些系統(tǒng)已成為大數(shù)據(jù)開發(fā)領(lǐng)域的主流技術(shù)。

本書共分為12章，分別對(duì)大數(shù)據(jù)概論、Hadoop集群環(huán)境搭建以及HDFS、MapReduce、ZooKeeper、HBase、Hive、Storm、Sqoop、Kafka、Spark和ElasticSearch的核心知識(shí)點(diǎn)進(jìn)行了介紹，并側(cè)重講解Hadoop生態(tài)系統(tǒng)的相關(guān)理論與實(shí)踐知識(shí)，包括Hadoop框架的執(zhí)行原理、運(yùn)作流程以及各組成部分的功能等。本書兼顧系統(tǒng)性與實(shí)用性，在全面介紹當(dāng)前大數(shù)據(jù)開發(fā)的主流技術(shù)與實(shí)用技巧的基礎(chǔ)上，通過(guò)對(duì)各種API和實(shí)例的講解、剖析及上機(jī)練習(xí)，注重實(shí)踐能力的提升，旨在使讀者通過(guò)對(duì)本書的學(xué)習(xí)，深入理解和掌握大數(shù)據(jù)開發(fā)的相關(guān)知識(shí)，并能熟練使用Hadoop集成環(huán)境完成大數(shù)據(jù)應(yīng)用的開發(fā)、調(diào)試和運(yùn)行工作。