第1章 概述
1.1 大數(shù)據(jù)簡介
1.1.1 大數(shù)據(jù)定義和維度
1.1.2 大數(shù)據(jù)管理挑戰(zhàn)
1.2 高效能存儲管理
1.2.1 存儲虛擬化
1.2.2 自動分層存儲
1.2.3 自動精簡配置
1.2.4 數(shù)據(jù)縮減技術(shù)
1.3 本章小結(jié)
第2章 存儲技術(shù)基礎(chǔ)
2.1 存儲介質(zhì)
2.1.1 磁存儲介質(zhì)
2.1.2 光存儲介質(zhì)
2.1.3 電子存儲介質(zhì)
2.2 存儲接口
2.2.1 IDE接口
2.2.2 SATA接口
2.2.3 SCSI接口
2.2.4 SAS接口
2.2.5 PCIE接口
2.2.6 FC接口
2.3 存儲系統(tǒng)架構(gòu)
2.3.1 存儲器分層結(jié)構(gòu)
2.3.2 RAID技術(shù)
2.4 網(wǎng)絡(luò)存儲系統(tǒng)
2.4.1 直接連接存儲
2.4.2 網(wǎng)絡(luò)附加存儲
2.4.3 存儲區(qū)域網(wǎng)絡(luò)
2.4.4 基于對象存儲
2.4.5 幾種存儲結(jié)構(gòu)的比較
2.5 本章小結(jié)
第3章 大數(shù)據(jù)管理技術(shù)
3.1 分布式計算框架
3.2 分布式文件系統(tǒng)
3.2.1 HDFS
3.2.2 Ceph
3.2.3 Lustre
3.3 NoSQL數(shù)據(jù)庫
3.3.1 HBase
3.3.2 MongoDB
3.4 大數(shù)據(jù)倉庫
3.4.1 Hive
3.4.2 Pig
3.4.3 Phoenix
3.5 本章小結(jié)
第4章 重復數(shù)據(jù)刪除存儲系統(tǒng)
4.1 重復數(shù)據(jù)刪除的概念及分類
4.1.1 基本概念
4.1.2 技術(shù)分類
4.2 重復數(shù)據(jù)刪除存儲原理
4.2.1 系統(tǒng)架構(gòu)
4.2.2 主要步驟
4.2.3 衡量指標
4.3 重復數(shù)據(jù)刪除技術(shù)應(yīng)用場景
4.3.1 數(shù)據(jù)備份
4.3.2 歸檔存儲
4.3.3 遠程容災(zāi)
4.3.4 虛擬化環(huán)境
4.3.5 主存儲系統(tǒng)
4.3.6 新型存儲介質(zhì)
4.4 相關(guān)產(chǎn)品及開源項目
4.4.1 企業(yè)產(chǎn)品
4.4.2 開源項目
4.5 本章小結(jié)
第5章 重復數(shù)據(jù)刪除關(guān)鍵技術(shù)
5.1 數(shù)據(jù)劃分方法
5.1.1 全文件分塊
5.1.2 靜態(tài)分塊
5.1.3 基于內(nèi)容分塊
5.1.4 基于應(yīng)用分塊
5.1.5 Delta編碼
5.2 塊索引查詢優(yōu)化技術(shù)
5.2.1 基于塊局部性的優(yōu)化策略
5.2.2 基于分層消重的優(yōu)化策略
5.2.3 基于固態(tài)存儲的優(yōu)化策略
5.3 可擴展數(shù)據(jù)路由技術(shù)
5.3.1 基于分布式哈希表的塊級數(shù)據(jù)路由技術(shù)
5.3.2 基于狀態(tài)信息的超塊級數(shù)據(jù)路由技術(shù)
5.3.3 基于相似性的文件級數(shù)據(jù)路由技術(shù)
5.4 塊指紋計算加速方法
5.4.1 多核CPU助口速方法
5.4.2 GPGPU加速方法
5.5 數(shù)據(jù)還原方法
5.5.1 主存儲還原方法
5.5.2 備份存儲還原方法
5.5.3 云存儲還原方法
5.6 垃圾回收技術(shù)
5.6.1 引用計數(shù)法
5.6.2 標記清理法
5.7 高可靠數(shù)據(jù)配置策略
5.7.1 糾錯編碼技術(shù)
5.7.2 副本策略
5.8 數(shù)據(jù)安全技術(shù)
5.8.1 加密沖突
5.8.2 旁路攻擊
5.8.3 所有權(quán)證明
5.9 本章小結(jié)
第6章 應(yīng)用感知源端重復數(shù)據(jù)刪除機制
6.1 研究背景
6.2 相關(guān)研究工作
6.2.1 應(yīng)用感知存儲研究
6.2.2 基于源端重復數(shù)據(jù)刪除的云備份研究
6.3 基本形式化模型
6.3.1 符號與基本定義
6.3.2 模型抽象與問題定義
6.4 研究動機
6.5 高效應(yīng)用感知源端重復數(shù)據(jù)刪除的設(shè)計與實現(xiàn)
6.5.1 ALG-Dedupe體系結(jié)構(gòu)簡介
6.5.2 文件大小過濾器
6.5.3 智能數(shù)據(jù)分塊策略
6.5.4 應(yīng)用感知的消重器
6.5.5 應(yīng)用感知索引結(jié)構(gòu)
6.5.6 段和容器管理
6.6 實驗評估
6.6.1 實驗平臺和數(shù)據(jù)集
6.6.2 重復數(shù)據(jù)刪除效果
6.6.3 重復數(shù)據(jù)刪除效率
6.6.4 云備份窗口
6.6.5 能耗利用率
6.6.6 云存儲代價
6.6.7 系統(tǒng)開銷
6.7 本章小結(jié)
第7章 高可擴展集群重復數(shù)據(jù)刪除技術(shù)
7.1 研究背景
7.2 相關(guān)研究工作
7.3 基本模型與算法
7.3.1 超塊相似性分析
7.3.2 基于手紋的數(shù)據(jù)路由算法
7.4 系統(tǒng)設(shè)計與實現(xiàn)
7.4.1 ∑-Dedupe系統(tǒng)架構(gòu)
7.4.2 數(shù)據(jù)路由消息通信
7.4.3 相似索引查詢優(yōu)化
7.5 性能評估
7.5.1 實驗平臺和工作負載
7.5.2 驗證度量
7.5.3 單節(jié)點并行重復數(shù)據(jù)刪除效率
7.5.4 集群重復數(shù)據(jù)刪除效率
7.6 本章小結(jié)
第8章 重復數(shù)據(jù)刪除存儲案例分析
8.1 重復數(shù)據(jù)刪除縮減率評估
8.2 主流廠商相關(guān)產(chǎn)品應(yīng)用案例
8.2.1 Dell EMC公司產(chǎn)品案例
8.2.2 IBM公司產(chǎn)品案例
8.2.3 飛康軟件公司產(chǎn)品案例
8.2.4 富士通公司產(chǎn)品案例
8.2.5 NetApp公司產(chǎn)品案例
8.2.6 Quantum公司產(chǎn)品案例
8.3 本章小結(jié)