本書(shū)是一本專門(mén)介紹重復(fù)數(shù)據(jù)刪除技術(shù)的專業(yè)書(shū)籍。全書(shū)共分為8章，以大數(shù)據(jù)存儲(chǔ)為背景，介紹重復(fù)數(shù)據(jù)刪除的關(guān)鍵技術(shù)及其應(yīng)用場(chǎng)景。通過(guò)學(xué)習(xí)本書(shū)，讀者能夠了解信息存儲(chǔ)技術(shù)基礎(chǔ)、大數(shù)據(jù)管理主流技術(shù)和高效能存儲(chǔ)管理基本知識(shí)，并可以深入理解重復(fù)數(shù)據(jù)刪除技術(shù)的概念、分類、存儲(chǔ)原理及關(guān)鍵技術(shù)，還可掌握前沿的應(yīng)用，如感知源端重刪機(jī)制和高可擴(kuò)展集群重刪技術(shù)，了解主流廠商重刪存儲(chǔ)相關(guān)產(chǎn)品及其應(yīng)用案例。
本書(shū)面向從事大數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)及相關(guān)技術(shù)研究和開(kāi)發(fā)工作的讀者。既可以作為存儲(chǔ)系統(tǒng)架構(gòu)師、軟件開(kāi)發(fā)工程師、產(chǎn)品或項(xiàng)目經(jīng)理、數(shù)據(jù)中心運(yùn)維人員等的實(shí)用工具書(shū)，還可以作為普通高等院校計(jì)算機(jī)和大數(shù)據(jù)科學(xué)相關(guān)專業(yè)的教學(xué)或科研人員、研究生、高年級(jí)本科生及相關(guān)培訓(xùn)機(jī)構(gòu)學(xué)員的學(xué)習(xí)參考書(shū)。

付印金／博士，國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院博士、軍事科學(xué)院系統(tǒng)工程研究院博士后，現(xiàn)為中國(guó)計(jì)算機(jī)學(xué)會(huì)高級(jí)會(huì)員、信息存儲(chǔ)技術(shù)／系統(tǒng)軟件專業(yè)委員會(huì)委員。長(zhǎng)期從事網(wǎng)絡(luò)存儲(chǔ)、大數(shù)據(jù)管理與云計(jì)算方向的相關(guān)課題研究。主持完成國(guó)家自然科學(xué)基金、江蘇省自然科學(xué)基金等課題，發(fā)表學(xué)術(shù)論文50多篇，申請(qǐng)和授權(quán)國(guó)家發(fā)明專利10余項(xiàng)。

第1章 概述
1.1 大數(shù)據(jù)簡(jiǎn)介
1.1.1 大數(shù)據(jù)定義和維度
1.1.2 大數(shù)據(jù)管理挑戰(zhàn)
1.2 高效能存儲(chǔ)管理
1.2.1 存儲(chǔ)虛擬化
1.2.2 自動(dòng)分層存儲(chǔ)
1.2.3 自動(dòng)精簡(jiǎn)配置
1.2.4 數(shù)據(jù)縮減技術(shù)
1.3 本章小結(jié)
第2章 存儲(chǔ)技術(shù)基礎(chǔ)
2.1 存儲(chǔ)介質(zhì)
2.1.1 磁存儲(chǔ)介質(zhì)
2.1.2 光存儲(chǔ)介質(zhì)
2.1.3 電子存儲(chǔ)介質(zhì)
2.2 存儲(chǔ)接口
2.2.1 IDE接口
2.2.2 SATA接口
2.2.3 SCSI接口
2.2.4 SAS接口
2.2.5 PCIE接口
2.2.6 FC接口
2.3 存儲(chǔ)系統(tǒng)架構(gòu)
2.3.1 存儲(chǔ)器分層結(jié)構(gòu)
2.3.2 RAID技術(shù)
2.4 網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)
2.4.1 直接連接存儲(chǔ)
2.4.2 網(wǎng)絡(luò)附加存儲(chǔ)
2.4.3 存儲(chǔ)區(qū)域網(wǎng)絡(luò)
2.4.4 基于對(duì)象存儲(chǔ)
2.4.5 幾種存儲(chǔ)結(jié)構(gòu)的比較
2.5 本章小結(jié)
第3章 大數(shù)據(jù)管理技術(shù)
3.1 分布式計(jì)算框架
3.2 分布式文件系統(tǒng)
3.2.1 HDFS
3.2.2 Ceph
3.2.3 Lustre
3.3 NoSQL數(shù)據(jù)庫(kù)
3.3.1 HBase
3.3.2 MongoDB
3.4 大數(shù)據(jù)倉(cāng)庫(kù)
3.4.1 Hive
3.4.2 Pig
3.4.3 Phoenix
3.5 本章小結(jié)
第4章 重復(fù)數(shù)據(jù)刪除存儲(chǔ)系統(tǒng)
4.1 重復(fù)數(shù)據(jù)刪除的概念及分類
4.1.1 基本概念
4.1.2 技術(shù)分類
4.2 重復(fù)數(shù)據(jù)刪除存儲(chǔ)原理
4.2.1 系統(tǒng)架構(gòu)
4.2.2 主要步驟
4.2.3 衡量指標(biāo)
4.3 重復(fù)數(shù)據(jù)刪除技術(shù)應(yīng)用場(chǎng)景
4.3.1 數(shù)據(jù)備份
4.3.2 歸檔存儲(chǔ)
4.3.3 遠(yuǎn)程容災(zāi)
4.3.4 虛擬化環(huán)境
4.3.5 主存儲(chǔ)系統(tǒng)
4.3.6 新型存儲(chǔ)介質(zhì)
4.4 相關(guān)產(chǎn)品及開(kāi)源項(xiàng)目
4.4.1 企業(yè)產(chǎn)品
4.4.2 開(kāi)源項(xiàng)目
4.5 本章小結(jié)
第5章 重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)
5.1 數(shù)據(jù)劃分方法
5.1.1 全文件分塊
5.1.2 靜態(tài)分塊
5.1.3 基于內(nèi)容分塊
5.1.4 基于應(yīng)用分塊
5.1.5 Delta編碼
5.2 塊索引查詢優(yōu)化技術(shù)
5.2.1 基于塊局部性的優(yōu)化策略
5.2.2 基于分層消重的優(yōu)化策略
5.2.3 基于固態(tài)存儲(chǔ)的優(yōu)化策略
5.3 可擴(kuò)展數(shù)據(jù)路由技術(shù)
5.3.1 基于分布式哈希表的塊級(jí)數(shù)據(jù)路由技術(shù)
5.3.2 基于狀態(tài)信息的超塊級(jí)數(shù)據(jù)路由技術(shù)
5.3.3 基于相似性的文件級(jí)數(shù)據(jù)路由技術(shù)
5.4 塊指紋計(jì)算加速方法
5.4.1 多核CPU助口速方法
5.4.2 GPGPU加速方法
5.5 數(shù)據(jù)還原方法
5.5.1 主存儲(chǔ)還原方法
5.5.2 備份存儲(chǔ)還原方法
5.5.3 云存儲(chǔ)還原方法
5.6 垃圾回收技術(shù)
5.6.1 引用計(jì)數(shù)法
5.6.2 標(biāo)記清理法
5.7 高可靠數(shù)據(jù)配置策略
5.7.1 糾錯(cuò)編碼技術(shù)
5.7.2 副本策略
5.8 數(shù)據(jù)安全技術(shù)
5.8.1 加密沖突
5.8.2 旁路攻擊
5.8.3 所有權(quán)證明
5.9 本章小結(jié)
第6章 應(yīng)用感知源端重復(fù)數(shù)據(jù)刪除機(jī)制
6.1 研究背景
6.2 相關(guān)研究工作
6.2.1 應(yīng)用感知存儲(chǔ)研究
6.2.2 基于源端重復(fù)數(shù)據(jù)刪除的云備份研究
6.3 基本形式化模型
6.3.1 符號(hào)與基本定義
6.3.2 模型抽象與問(wèn)題定義
6.4 研究動(dòng)機(jī)
6.5 高效應(yīng)用感知源端重復(fù)數(shù)據(jù)刪除的設(shè)計(jì)與實(shí)現(xiàn)
6.5.1 ALG-Dedupe體系結(jié)構(gòu)簡(jiǎn)介
6.5.2 文件大小過(guò)濾器
6.5.3 智能數(shù)據(jù)分塊策略
6.5.4 應(yīng)用感知的消重器
6.5.5 應(yīng)用感知索引結(jié)構(gòu)
6.5.6 段和容器管理
6.6 實(shí)驗(yàn)評(píng)估
6.6.1 實(shí)驗(yàn)平臺(tái)和數(shù)據(jù)集
6.6.2 重復(fù)數(shù)據(jù)刪除效果
6.6.3 重復(fù)數(shù)據(jù)刪除效率
6.6.4 云備份窗口
6.6.5 能耗利用率
6.6.6 云存儲(chǔ)代價(jià)
6.6.7 系統(tǒng)開(kāi)銷
6.7 本章小結(jié)
第7章 高可擴(kuò)展集群重復(fù)數(shù)據(jù)刪除技術(shù)
7.1 研究背景
7.2 相關(guān)研究工作
7.3 基本模型與算法
7.3.1 超塊相似性分析
7.3.2 基于手紋的數(shù)據(jù)路由算法
7.4 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
7.4.1 ∑-Dedupe系統(tǒng)架構(gòu)
7.4.2 數(shù)據(jù)路由消息通信
7.4.3 相似索引查詢優(yōu)化
7.5 性能評(píng)估
7.5.1 實(shí)驗(yàn)平臺(tái)和工作負(fù)載
7.5.2 驗(yàn)證度量
7.5.3 單節(jié)點(diǎn)并行重復(fù)數(shù)據(jù)刪除效率
7.5.4 集群重復(fù)數(shù)據(jù)刪除效率
7.6 本章小結(jié)
第8章 重復(fù)數(shù)據(jù)刪除存儲(chǔ)案例分析
8.1 重復(fù)數(shù)據(jù)刪除縮減率評(píng)估
8.2 主流廠商相關(guān)產(chǎn)品應(yīng)用案例
8.2.1 Dell EMC公司產(chǎn)品案例
8.2.2 IBM公司產(chǎn)品案例
8.2.3 飛康軟件公司產(chǎn)品案例
8.2.4 富士通公司產(chǎn)品案例
8.2.5 NetApp公司產(chǎn)品案例
8.2.6 Quantum公司產(chǎn)品案例
8.3 本章小結(jié)