Ceph企業(yè)級(jí)分布式存儲(chǔ):原理與工程實(shí)踐
定 價(jià):89 元
叢書(shū)名:云計(jì)算與虛擬化技術(shù)叢書(shū)
- 作者:景顯強(qiáng),龔向宇,黃軍寶
- 出版時(shí)間:2021/9/1
- ISBN:9787111690467
- 出 版 社:機(jī)械工業(yè)出版社
- 中圖法分類(lèi):TP316
- 頁(yè)碼:
- 紙張:膠版紙
- 版次:
- 開(kāi)本:16開(kāi)
內(nèi)容簡(jiǎn)介
這是一本從工程角度講解Ceph原理、實(shí)戰(zhàn)和應(yīng)用的著作,得到了近10家企業(yè)的高管和技術(shù)專(zhuān)家一致推薦。三位作者是RedHat和平安科技的資深技術(shù)專(zhuān)家,在分布式存儲(chǔ)領(lǐng)域積累了豐富的經(jīng)驗(yàn)。
雖然本書(shū)對(duì)Ceph的原理和架構(gòu)做了詳細(xì)的講解,但這不是目的,本書(shū)希望讀者在充分理解Ceph的原理的基礎(chǔ)上,能夠?qū)eph正確、高效地應(yīng)用于工程實(shí)踐,在實(shí)踐的過(guò)程中持續(xù)對(duì)Ceph進(jìn)行優(yōu)化和運(yùn)維,z終實(shí)現(xiàn)Ceph的落地。
全書(shū)一共16章,圍繞原理、實(shí)戰(zhàn)、應(yīng)用3個(gè)維度展開(kāi)。
第1部分 Ceph原理(第1~4章)
這部分首先介紹了Ceph的常識(shí),然后系統(tǒng)講解了Ceph的架構(gòu)設(shè)計(jì),z后分析了Ceph的核心技術(shù)組件和客戶(hù)端組件的原理。
第二部分 Ceph實(shí)戰(zhàn)(第5~13章)
從實(shí)戰(zhàn)的角度講解了Ceph集群的規(guī)劃、部署、管理,以及Ceph的對(duì)象存儲(chǔ)、文件存儲(chǔ)、塊存儲(chǔ)、容災(zāi)、故障定位和性能調(diào)優(yōu)。這部分內(nèi)容是本書(shū)的重點(diǎn),決定了Ceph落地后的性能、容量、未來(lái)的運(yùn)維便捷度和可擴(kuò)展性等,想采用Ceph作為數(shù)據(jù)中心分布式存儲(chǔ)方案的讀者應(yīng)重點(diǎn)關(guān)注。
第三部分 Ceph應(yīng)用(第14~16章)
通過(guò)企業(yè)網(wǎng)盤(pán)搭建,以及與OpenStack和OpenShift等平臺(tái)對(duì)接等典型應(yīng)用場(chǎng)景相關(guān)的案例,講解了Ceph的工程實(shí)踐。
(1)作者背景深厚:3位作者來(lái)自紅帽和平安科技,至少都有10年以上從業(yè)經(jīng)驗(yàn),在Ceph等分布式存儲(chǔ)領(lǐng)域有豐富經(jīng)驗(yàn)。(2)立足工程實(shí)踐:本書(shū)雖然講了Ceph的原理與架構(gòu),但目標(biāo)為Ceph在企業(yè)的落地服務(wù),所有內(nèi)容全部圍繞企業(yè)實(shí)踐展開(kāi)。(3)近10專(zhuān)家推薦:本書(shū)得到了來(lái)自近10家互聯(lián)網(wǎng)企業(yè)和傳統(tǒng)企業(yè)的領(lǐng)導(dǎo)與技術(shù)專(zhuān)家的一致好評(píng)和推薦。(4)手把手教:所有實(shí)踐內(nèi)容,都有詳細(xì)的操作說(shuō)明,并附代碼或圖片,確保讀者看了就能會(huì),學(xué)會(huì)就能用。
為什么寫(xiě)作本書(shū)
本書(shū)的幾位作者都曾在大型企業(yè)工作,技術(shù)方面各有所長(zhǎng),在企業(yè)項(xiàng)目規(guī)劃和交付過(guò)程中都積累了很多經(jīng)驗(yàn)。一次偶然的機(jī)會(huì),我們談?wù)撈鸱植际酱鎯?chǔ)話(huà)題,談到系統(tǒng)落地的各種困難,為企業(yè)客戶(hù)做的各種努力,以及未來(lái)這項(xiàng)技術(shù)的發(fā)展趨勢(shì),一致覺(jué)得寫(xiě)一本關(guān)于分布式存儲(chǔ)的書(shū)把工程實(shí)踐經(jīng)驗(yàn)分享出來(lái)是一件有意義、有價(jià)值的事。
在云計(jì)算、大數(shù)據(jù)、AI等技術(shù)的發(fā)展浪潮推動(dòng)下,企業(yè)數(shù)據(jù)中心的數(shù)據(jù)存儲(chǔ)形式要求既要兼顧傳統(tǒng)業(yè)務(wù)的數(shù)據(jù)安全,又要保證云計(jì)算平臺(tái)的數(shù)據(jù)安全,同時(shí)企業(yè)存儲(chǔ)選型還要兼顧性能、成本、易用性、擴(kuò)展性等。Ceph作為分布式存儲(chǔ)方案,已經(jīng)獲得全球眾多企業(yè)認(rèn)可,在開(kāi)源社區(qū)項(xiàng)目中的影響力巨大。在經(jīng)過(guò)20多年的發(fā)展后,Ceph已經(jīng)在性能和穩(wěn)定性上取得了突破性進(jìn)展。眾多企業(yè)已經(jīng)開(kāi)始嘗試將Ceph作為其數(shù)據(jù)中心分布式存儲(chǔ)的開(kāi)源方案。但能完整地指導(dǎo)企業(yè)用戶(hù)落地分布式存儲(chǔ)的相關(guān)資料還很少,因此我們堅(jiān)定了編寫(xiě)本書(shū)的決心。
本書(shū)包括原理、實(shí)戰(zhàn)和應(yīng)用,逐步引導(dǎo)企業(yè)落地Ceph,同時(shí)幫助企業(yè)相關(guān)人員在方案落地后對(duì)Ceph進(jìn)行優(yōu)化和持續(xù)運(yùn)維,推動(dòng)企業(yè)數(shù)據(jù)存儲(chǔ)方案的轉(zhuǎn)型,助力企業(yè)在云計(jì)算、大數(shù)據(jù)、AI等技術(shù)上穩(wěn)步發(fā)展。
讀者對(duì)象
本書(shū)適讀人群如下:
分布式存儲(chǔ)技術(shù)愛(ài)好者
企業(yè)系統(tǒng)管理員
企業(yè)云資源管理員
企業(yè)平臺(tái)架構(gòu)師
企業(yè)數(shù)據(jù)中心信息官
如何閱讀本書(shū)
本書(shū)分三部分進(jìn)行講解,包括原理、實(shí)戰(zhàn)、應(yīng)用。
原理部分(第1~4章)介紹Ceph的基本理論、實(shí)現(xiàn)原理,對(duì)初學(xué)者很有幫助。
實(shí)戰(zhàn)部分(第5~13章)介紹工程實(shí)踐、規(guī)劃集群、部署落地、使用及容災(zāi),以及如何落地Ceph集群并對(duì)其進(jìn)行運(yùn)營(yíng),對(duì)投產(chǎn)人員和愛(ài)好者有著很重要的指導(dǎo)意義。
應(yīng)用部分(第14~16章)主要講解Ceph集群工程實(shí)踐示例,例如搭建企業(yè)云盤(pán)以及Ceph和OpenShift、OpenStack等平臺(tái)的集成,介紹集成時(shí)使用的主要技術(shù)手段,對(duì)具體應(yīng)用相關(guān)技術(shù)的專(zhuān)家有很重要的指導(dǎo)意義。
如果你對(duì)Ceph集群了解較少,可以先從原理部分開(kāi)始,掌握基本知識(shí)后,再通過(guò)實(shí)戰(zhàn)部分構(gòu)建自己的Ceph集群,后根據(jù)實(shí)際需求落地應(yīng)用。實(shí)戰(zhàn)部分使用的開(kāi)源Ceph方案在后續(xù)版本中會(huì)有所變動(dòng),但本書(shū)當(dāng)前選定的版本仍然可以作為參考來(lái)指導(dǎo)Ceph的落地。
在線(xiàn)資源獲取
筆者在編寫(xiě)過(guò)程中參考了Red Hat官方的相關(guān)技術(shù)文檔、Ceph的官方指導(dǎo)文檔。如果你在閱讀過(guò)程中有疑問(wèn),可以訪(fǎng)問(wèn)如下網(wǎng)站獲取相關(guān)內(nèi)容。
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html/hardware_guide/index
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html/architecture_guide/index
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html/configuration_guide/index
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html/object_gateway_for_production_guide/index
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html/file_system_guide/index
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html/storage_strategies_guide/index
https://docs.ceph.com/en/latest/
本書(shū)勘誤
由于Ceph更新很快,書(shū)中的內(nèi)容無(wú)法與Ceph社區(qū)的內(nèi)容同步,但這不影響你在閱讀過(guò)程中獲取相關(guān)經(jīng)驗(yàn)。如果對(duì)書(shū)中內(nèi)容有疑問(wèn),歡迎發(fā)送郵件至ceph@bt-linux.org,我們可以共同討論。期待你的聯(lián)系。
致謝
書(shū)稿終成,掩卷思量,飲水思源,在此,誠(chéng)摯感謝在本書(shū)編寫(xiě)期間提供幫助和支持的所有人。
首先,本書(shū)的成稿離不開(kāi)眾多鮮活的客戶(hù)案例,在此感謝所有提供使用反饋的客戶(hù)和技術(shù)專(zhuān)家。你們的認(rèn)可和支持為我們編寫(xiě)本書(shū)提供了巨大動(dòng)力。
其次,感謝各位領(lǐng)導(dǎo)、專(zhuān)家的大力支持,感謝你們提供的技術(shù)素材、推薦、評(píng)語(yǔ)、資源。各位領(lǐng)導(dǎo)、專(zhuān)家的支持讓我們堅(jiān)定了寫(xiě)書(shū)的信念,再次感謝你們。
后,感謝讓本書(shū)得以付梓的幕后英雄,包括提供經(jīng)驗(yàn)指導(dǎo)的同人以及機(jī)械工業(yè)出版社華章公司的編輯。你們的付出使本書(shū)得以出版,感謝你們。
作者簡(jiǎn)介
景顯強(qiáng)
紅帽軟件(北京)有限公司(RedHat)資深解決方案架構(gòu)師,擁有10余年IT從業(yè)經(jīng)驗(yàn)。在Linux內(nèi)核開(kāi)發(fā)及運(yùn)維、分布式存儲(chǔ)建設(shè)、IaaS云平臺(tái)建設(shè)、PaaS云平臺(tái)建設(shè)、企業(yè)自動(dòng)化運(yùn)維建設(shè)等方向擁有豐富的經(jīng)驗(yàn),曾幫助國(guó)內(nèi)眾多金融和制造業(yè)企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。
龔向宇
紅帽軟件(北京)有限公司副首席咨詢(xún)顧問(wèn),擁有近15年Linux開(kāi)發(fā)與咨詢(xún)經(jīng)驗(yàn)。對(duì)Linux內(nèi)核、云基礎(chǔ)網(wǎng)絡(luò)、存儲(chǔ)均有較深入的理解,曾幫助國(guó)內(nèi)眾多企業(yè)落地基礎(chǔ)架構(gòu)平臺(tái)相關(guān)軟件,在項(xiàng)目落地中積累了豐富的經(jīng)驗(yàn)。
黃軍寶
平安科技云架構(gòu)專(zhuān)家,曾任紅帽軟件(北京)有限公司首席講師和解決方案架構(gòu)師,擁有10余年IT行業(yè)經(jīng)驗(yàn)。深入理解Linux操作系統(tǒng),擅長(zhǎng)開(kāi)源架構(gòu)方案設(shè)計(jì),如OpenStack架構(gòu)設(shè)計(jì)、基于OpenShift和Kubernetes的容器云架構(gòu)設(shè)計(jì)、軟件定義存儲(chǔ)方案設(shè)計(jì)。多次主導(dǎo)運(yùn)營(yíng)商和金融企業(yè)私有云平臺(tái)IaaS/PaaS方案落地。
推薦序
前 言
部分 Ceph原理
第1章 Ceph概述2
1.1 軟件定義存儲(chǔ)2
1.1.1 基本概念介紹2
1.1.2 軟件定義存儲(chǔ)工作機(jī)制3
1.1.3 軟件定義存儲(chǔ)的優(yōu)勢(shì)4
1.2 Ceph的發(fā)展史5
1.2.1 研究階段5
1.2.2 孵化階段6
1.2.3 商業(yè)化階段7
1.2.4 成熟階段8
1.3 Ceph的市場(chǎng)分析9
1.3.1 存儲(chǔ)形態(tài)的轉(zhuǎn)型9
1.3.2 存儲(chǔ)形態(tài)演變的特點(diǎn)10
1.3.3 軟件定義存儲(chǔ)的市場(chǎng)分析11
1.4 Ceph的適用場(chǎng)景12
1.4.1 分析類(lèi)應(yīng)用場(chǎng)景舉例13
1.4.2 IaaS云平臺(tái)應(yīng)用場(chǎng)景舉例14
1.4.3 富媒體和歸檔應(yīng)用場(chǎng)景舉例15
1.4.4 企業(yè)文件同步和共享應(yīng)用場(chǎng)景舉例16
1.4.5 服務(wù)器和應(yīng)用程序存儲(chǔ)場(chǎng)景舉例17
1.5 軟件定義存儲(chǔ)的商業(yè)產(chǎn)品18
1.6 本章小結(jié)20
第2章 Ceph架構(gòu)分析21
2.1 Ceph集群的組成架構(gòu)21
2.2 Monitor節(jié)點(diǎn)分析23
2.2.1 Ceph Cluster Map25
2.2.2 Ceph Monitor的Quorum機(jī)制25
2.2.3 Ceph Monitor一致性25
2.3 OSD節(jié)點(diǎn)分析26
2.3.1 運(yùn)行OSD所需服務(wù)器配置推薦26
2.3.2 OSD的Scrub29
2.3.3 回填OSD30
2.3.4 OSD恢復(fù)30
2.4 Manager節(jié)點(diǎn)分析30
2.5 Ceph對(duì)象存儲(chǔ)和對(duì)象網(wǎng)關(guān)31
2.5.1 對(duì)象存儲(chǔ)31
2.5.2 對(duì)象網(wǎng)關(guān)32
2.6 文件存儲(chǔ)元數(shù)據(jù)節(jié)點(diǎn)分析33
2.6.1 Ceph文件存儲(chǔ)34
2.6.2 CephFS限制因素34
2.7 iSCSI網(wǎng)關(guān)節(jié)點(diǎn)分析36
2.8 本章小結(jié)36
第3章 Ceph核心技術(shù)組件37
3.1 Ceph的關(guān)鍵特性37
3.2 存儲(chǔ)池39
3.2.1 Ceph技術(shù)組件的全景架構(gòu)39
3.2.2 存儲(chǔ)池定義的內(nèi)容40
3.3 Ceph認(rèn)證41
3.4 Ceph放置組42
3.4.1 PG基本概念42
3.4.2 放置組的計(jì)算方法43
3.4.3 PG和PGP的區(qū)別45
3.5 CRUSH算法46
3.6 Ceph數(shù)據(jù)副本49
3.7 Ceph糾刪碼49
3.8 Ceph對(duì)象存儲(chǔ)技術(shù)51
3.8.1 FileStore技術(shù)52
3.8.2 BlueStore技術(shù)54
3.9 Ceph心跳檢查55
3.10 Ceph Peering56
3.11 Ceph數(shù)據(jù)再平衡56
3.12 Ceph數(shù)據(jù)完整性57
3.13 本章小結(jié)58
第4章 Ceph客戶(hù)端組件59
4.1 Ceph支持的客戶(hù)端類(lèi)型59
4.2 Ceph客戶(hù)端的Watch/Notify機(jī)制60
4.3 Ceph客戶(hù)端的獨(dú)占鎖61
4.4 Ceph客戶(hù)端的對(duì)象映射62
4.5 Ceph客戶(hù)端的數(shù)據(jù)條帶化63
4.6 本章小結(jié)65
第二部分 Ceph實(shí)戰(zhàn)
第5章 Ceph集群規(guī)劃68
5.1 版本規(guī)劃68
5.2 基礎(chǔ)環(huán)境規(guī)劃69
5.2.1 推薦使用的操作系統(tǒng)69
5.2.2 限制條件70
5.2.3 主要支持的特性71
5.3 服務(wù)器規(guī)劃71
5.3.1 追求良好的IOPS的場(chǎng)景71
5.3.2 追求良好的吞吐量場(chǎng)景72
5.3.3 追求低成本、高容量的場(chǎng)景73
5.3.4 實(shí)驗(yàn)環(huán)境下服務(wù)器的小配置73
5.4 組網(wǎng)規(guī)劃74
5.4.1 組網(wǎng)規(guī)劃建議74
5.4.2 Ceph消息通信框架76
5.4.3 防火墻規(guī)劃76
5.5 本章小結(jié)77
第6章 Ceph集群安裝部署78
6.1 基礎(chǔ)環(huán)境準(zhǔn)備78
6.1.1 創(chuàng)建虛擬機(jī)79
6.1.2 配置服務(wù)器80
6.2 準(zhǔn)備安裝介質(zhì)81
6.3 安裝前檢查82
6.4 安裝Ceph85
6.5 集群檢查92
6.6 本章小結(jié)101
第7章 使用Ceph對(duì)象存儲(chǔ)102
7.1 部署對(duì)象網(wǎng)關(guān)102
7.2 通過(guò)S3接口使用對(duì)象存儲(chǔ)105
7.3 本章小結(jié)109
第8章 使用Ceph塊存儲(chǔ)110
8.1 創(chuàng)建和刪除池110
8.2 RBD設(shè)備的配置及使用112
8.3 RBD快照114
8.4 RBD Image克隆116
8.5 RBD Image數(shù)據(jù)的導(dǎo)入/導(dǎo)出117
8.6 本章小結(jié)117
第9章 使用Ceph文件存儲(chǔ)118
9.1 部署MDS118
9.2 使用CephFS120
9.3 CephFS擴(kuò)展屬性121
9.4 本章小結(jié)123
第10章 管理Ceph集群124
10.1 Ceph的常用命令124
10.2 配置CRUSH Map129
10.3 添加磁盤(pán)134
10.4 刪除磁盤(pán)137
10.5 本章小結(jié)138
第11章 Ceph容災(zāi)140
11.1 對(duì)象存儲(chǔ)容災(zāi) 141
11.1.1 對(duì)象存儲(chǔ)容災(zāi)概述141
11.1.2 Ceph對(duì)象網(wǎng)關(guān)多站點(diǎn)介紹141
11.1.3 配置多站點(diǎn)對(duì)象網(wǎng)關(guān)實(shí)現(xiàn)容災(zāi)142
11.2 RBD塊存儲(chǔ)容災(zāi)157
11.2.1 數(shù)據(jù)復(fù)制方向157
11.2.2 數(shù)據(jù)復(fù)制模式159
11.2.3 配置RBD Mirror159
11.3 文件存儲(chǔ)容災(zāi)164
11.4 本章小結(jié)164
第12章 調(diào)優(yōu)方法165
12.1 性能測(cè)試工具166
12.2 測(cè)試用例167
12.2.1 RBD測(cè)試用例167
12.2.2 網(wǎng)絡(luò)測(cè)試用例170
12.2.3 對(duì)象存儲(chǔ)測(cè)試171
12.2.4 RADOS測(cè)試用例172
12.3 推薦的調(diào)優(yōu)方向174
12.3.1 硬件調(diào)優(yōu)174
12.3.2 網(wǎng)絡(luò)調(diào)優(yōu)176
12.3.3 內(nèi)存調(diào)優(yōu)178
12.3.4 Scrub179
12.3.5 Ceph配置參數(shù)調(diào)優(yōu)179
12.4 本章小結(jié)180
第13章 故障定位方法181
13.1 獲取集群狀態(tài)181
13.2 診斷Monitor問(wèn)題183
13.3 診斷對(duì)象問(wèn)題184
13.4 數(shù)據(jù)平衡185
13.5 重要文件目錄185
13.6 使用Ceph集群的注意事