本書(shū)由淺入深，層層深入，從基本原理著手，逐步過(guò)渡到大數(shù)據(jù)存儲(chǔ)的新技術(shù)的發(fā)展。本書(shū)以扎實(shí)的理論分析為基礎(chǔ)，系統(tǒng)、深入地介紹了分布式文件系統(tǒng)和分布式鍵值存儲(chǔ)的基本原理及其關(guān)鍵問(wèn)題與解決手段、大數(shù)據(jù)存儲(chǔ)系統(tǒng)的關(guān)聯(lián)技術(shù)與進(jìn)展，包括基于群組的網(wǎng)絡(luò)文件共享、存儲(chǔ)系統(tǒng)的容災(zāi)、重復(fù)數(shù)據(jù)刪除技術(shù)和大數(shù)據(jù)糾刪碼存儲(chǔ)技術(shù)。對(duì)大數(shù)據(jù)存儲(chǔ)技術(shù)的研究和應(yīng)用有積極的促進(jìn)作用。本書(shū)的讀者對(duì)象主要為高等院校的學(xué)者和研究生，數(shù)據(jù)存儲(chǔ)架構(gòu)師、咨詢(xún)顧問(wèn)，以及企業(yè)內(nèi)部的相關(guān)業(yè)務(wù)人員。

本書(shū)的理論及學(xué)術(shù)水平較高。區(qū)別于一般已出版的大數(shù)據(jù)圖書(shū)，本書(shū)的特色是深入分析大數(shù)據(jù)存儲(chǔ)理論和關(guān)鍵技術(shù)，向讀者展示如何結(jié)合中國(guó)計(jì)算機(jī)當(dāng)前產(chǎn)業(yè)特點(diǎn)，開(kāi)展與大數(shù)據(jù)存儲(chǔ)系統(tǒng)相關(guān)的自主創(chuàng)新性研制工作，為高校師生和從事大數(shù)據(jù)技術(shù)開(kāi)發(fā)的工程人員提供理論指導(dǎo)和實(shí)務(wù)操作指南。

陳康 清華大學(xué)計(jì)算機(jī)系研究員，主要從事分布式系統(tǒng)、存儲(chǔ)系統(tǒng)、大數(shù)據(jù)系統(tǒng)方面的研究工作。發(fā)表學(xué)術(shù)論文50余篇，曾獲得國(guó)家技術(shù)發(fā)明獎(jiǎng)二等獎(jiǎng)、中國(guó)電子學(xué)會(huì)科學(xué)技術(shù)獎(jiǎng)科技進(jìn)步特等獎(jiǎng)和一等獎(jiǎng)、中創(chuàng)軟件人才獎(jiǎng)等獎(jiǎng)項(xiàng)。 武永衛(wèi) 清華大學(xué)計(jì)算機(jī)系教授，主要從事并行與分布式系統(tǒng)方面的研究工作。發(fā)表學(xué)術(shù)論文100余篇，入選國(guó)家“萬(wàn)人計(jì)劃”科技創(chuàng)新領(lǐng)軍人才，曾獲得國(guó)家科學(xué)技術(shù)進(jìn)步獎(jiǎng)二等獎(jiǎng)、國(guó)家技術(shù)發(fā)明獎(jiǎng)二等獎(jiǎng)、中國(guó)電子學(xué)會(huì)科學(xué)技術(shù)獎(jiǎng)科技進(jìn)步特等獎(jiǎng)和一等獎(jiǎng)等獎(jiǎng)項(xiàng)。 余宏亮 清華大學(xué)計(jì)算機(jī)系副研究員，主要從事并行系統(tǒng)、分布式系統(tǒng)、存儲(chǔ)系統(tǒng)方面的研究工作。發(fā)表學(xué)術(shù)論文40余篇，曾獲得國(guó)家科學(xué)技術(shù)進(jìn)步獎(jiǎng)二等獎(jiǎng)、國(guó)家技術(shù)發(fā)明獎(jiǎng)二等獎(jiǎng)、中國(guó)電子學(xué)會(huì)科學(xué)技術(shù)獎(jiǎng)技術(shù)發(fā)明一等獎(jiǎng)、高等學(xué)�？茖W(xué)研究?jī)?yōu)秀成果獎(jiǎng)科學(xué)技術(shù)進(jìn)步獎(jiǎng)一等獎(jiǎng)等獎(jiǎng)項(xiàng)。 張廣艷 清華大學(xué)計(jì)算機(jī)系長(zhǎng)聘副教授、博士生導(dǎo)師，主要從事大數(shù)據(jù)存儲(chǔ)與分析的理論和方法研究，包括大數(shù)據(jù)計(jì)算、存儲(chǔ)系統(tǒng)與分布式處理等方面。研究得到包括國(guó)家杰出青年科學(xué)基金、國(guó)家重點(diǎn)研發(fā)計(jì)劃、973計(jì)劃和863計(jì)劃等多項(xiàng)國(guó)家科研項(xiàng)目的支持。發(fā)表學(xué)術(shù)論文40余篇，近5年以第一發(fā)明人獲得美國(guó)發(fā)明專(zhuān)利授權(quán)1項(xiàng)、中國(guó)發(fā)明專(zhuān)利授權(quán)7項(xiàng)。

第 1章 緒論 001 1.1 大數(shù)據(jù)存儲(chǔ)系統(tǒng)簡(jiǎn)介 002 1.2 大數(shù)據(jù)存儲(chǔ)的基本形式 003 1.3 大數(shù)據(jù)存儲(chǔ)的關(guān)鍵技術(shù) 006 1.4 本書(shū)的組織 008 第 2章 分布式文件系統(tǒng) 011 2.1 文件系統(tǒng)的結(jié)構(gòu)與擴(kuò)展 012 2.1.1 文件系統(tǒng)的名字空間與數(shù)據(jù)讀寫(xiě) 012 2.1.2 文件系統(tǒng)的擴(kuò)展方式 016 2.2 分布式文件系統(tǒng)的結(jié)構(gòu) 021 2.2.1 分布式文件系統(tǒng)的運(yùn)行環(huán)境與特性保證 021 2.2.2 典型的單一名字空間的分布式文件系統(tǒng) 027 2.3 分布式文件系統(tǒng)的關(guān)鍵技術(shù)討論 030 2.3.1 關(guān)于性能的討論 030 2.3.2 關(guān)于可靠性方面的討論 033 2.3.3 關(guān)于一致性方面的討論 038 2.3.4 其他特性討論 042 2.4 本章小結(jié) 046 參考文獻(xiàn) 047 第3章 分布式鍵值對(duì)存儲(chǔ) 049 3.1 鍵值對(duì)存儲(chǔ)概述 050 3.2 分布式鍵值對(duì)存儲(chǔ)的實(shí)現(xiàn) 055 3.3 通過(guò)查找表存儲(chǔ)有序的鍵值對(duì) 061 3.4 本章小結(jié) 067 參考文獻(xiàn) 067 第4章 面向社區(qū)共享的網(wǎng)絡(luò)文件共享系統(tǒng) 069 4.1 面向社區(qū)共享的用戶(hù)管理模型 071 4.2 社區(qū)共享對(duì)多根多版本文件系統(tǒng)的需求 079 4.3 多根多版本文件系統(tǒng)的元數(shù)據(jù)管理 081 4.4 多根多版本文件系統(tǒng)的優(yōu)化方法 086 4.5 MeePo的設(shè)計(jì)與實(shí)現(xiàn) 091 4.6 實(shí)驗(yàn)與評(píng)價(jià) 099 4.7 本章小結(jié) 103 參考文獻(xiàn) 104 第5章 存儲(chǔ)容災(zāi)系統(tǒng) 105 5.1 容災(zāi)系統(tǒng)簡(jiǎn)介 106 5.2 存儲(chǔ)容災(zāi)系統(tǒng)的技術(shù)體系與現(xiàn)狀 107 5.3 容災(zāi)系統(tǒng)的標(biāo)準(zhǔn)建設(shè) 113 5.4 國(guó)內(nèi)的存儲(chǔ)容災(zāi)系統(tǒng)建設(shè) 114 5.5 并行化高效容災(zāi)備份與恢復(fù)系統(tǒng) 121 5.5.1 系統(tǒng)結(jié)構(gòu)與設(shè)計(jì) 121 5.5.2 基于系統(tǒng)虛擬化的一致檢查點(diǎn)技術(shù) 123 5.5.3 基于IPG的一致檢查點(diǎn) 129 5.5.4 基于即插即用設(shè)備的OS透明轉(zhuǎn)換機(jī)制 132 5.5.5 并行恢復(fù)中競(jìng)爭(zhēng)的處理機(jī)制 132 5.5.6 并行恢復(fù)中的頁(yè)緩沖管理方法 133 5.5.7 系統(tǒng)實(shí)現(xiàn) 134 5.5.8 實(shí)際系統(tǒng)的恢復(fù)測(cè)試實(shí)驗(yàn)結(jié)果 135 5.6 異地應(yīng)用層容災(zāi)系統(tǒng) 139 5.6.1 異地應(yīng)用層容災(zāi)的運(yùn)行環(huán)境 139 5.6.2 應(yīng)用層虛擬化 141 5.6.3 應(yīng)用層容災(zāi)的系統(tǒng)總體結(jié)構(gòu) 143 5.6.4 應(yīng)用層容災(zāi)虛擬化容器的系統(tǒng)實(shí)現(xiàn) 147 5.6.5 應(yīng)用層容災(zāi)中數(shù)據(jù)同步與恢復(fù)的實(shí)現(xiàn) 160 5.6.6 應(yīng)用層容災(zāi)系統(tǒng)的實(shí)際效果評(píng)測(cè) 166 5.7 本章小結(jié) 171 參考文獻(xiàn) 171 第6章 大數(shù)據(jù)存儲(chǔ)系統(tǒng)的刪冗 175 6.1 大數(shù)據(jù)存儲(chǔ)刪冗技術(shù)簡(jiǎn)介 176 6.1.1 刪冗的一般流程 177 6.1.2 二級(jí)存儲(chǔ)刪冗挑戰(zhàn) 179 6.1.3 刪冗系統(tǒng)的分類(lèi)和現(xiàn)狀 180 6.1.4 現(xiàn)有的相關(guān)存儲(chǔ)數(shù)據(jù)刪冗系統(tǒng)與技術(shù) 184 6.2 重復(fù)數(shù)據(jù)刪除技術(shù)在云存儲(chǔ)系統(tǒng)中的應(yīng)用與優(yōu)化 192 6.2.1 AegeanStore的設(shè)計(jì)與實(shí)現(xiàn) 192 6.2.2 文件系統(tǒng)服務(wù)的設(shè)計(jì)與實(shí)現(xiàn) 201 6.2.3 AegeanStore中重復(fù)數(shù)據(jù)刪除技術(shù)的優(yōu)化 206 6.2.4 AegeanStore的效果測(cè)試與評(píng)價(jià) 215 6.3 高效主存儲(chǔ)內(nèi)嵌刪冗系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 218 6.3.1 主存儲(chǔ)刪冗存在的挑戰(zhàn) 219 6.3.2 現(xiàn)有的主內(nèi)存刪冗方案 221 6.3.3 主存儲(chǔ)內(nèi)嵌刪冗系統(tǒng)PDFS的技術(shù)選擇分析 224 6.3.4 主存儲(chǔ)內(nèi)嵌刪冗系統(tǒng)PDFS的設(shè)計(jì)與實(shí)現(xiàn) 235 6.3.5 實(shí)驗(yàn)與評(píng)價(jià) 244 6.4 本章小結(jié) 255 參考文獻(xiàn) 256 第7章 大數(shù)據(jù)存儲(chǔ)糾刪碼技術(shù)與優(yōu)化 259 7.1 大數(shù)據(jù)存儲(chǔ)的糾刪碼技術(shù) 260 7.2 糾刪碼相關(guān)技術(shù)與工作 261 7.2.1 糾刪碼技術(shù)簡(jiǎn)介 261 7.2.2 RS編碼相關(guān)工作 263 7.2.3 HDFS 268 7.3 高效糾刪碼編碼方法CaCo 272 7.3.1 準(zhǔn)備柯西矩陣 273 7.3.2 求調(diào)度 275 7.3.3 選擇優(yōu)化調(diào)度方案 276 7.4 高效糾刪碼編碼方法的應(yīng)用 277 7.4.1 原型實(shí)現(xiàn) 277 7.4.2 本地編碼中的應(yīng)用 279 7.4.3 云存儲(chǔ)系統(tǒng)中的應(yīng)用 280 7.5 高效糾刪碼編碼方法的性能評(píng)價(jià) 282 7.5.1 選擇框架實(shí)驗(yàn)測(cè)試 282 7.5.2 數(shù)據(jù)編碼性能測(cè)試 286 7.6 本章小結(jié) 290 參考文獻(xiàn) 290