《大數據管理》既包括了大數據管理的相關技術知識,也涵蓋了大數據管理在多個行業(yè)的應用與案例分析,包括: 大數據基礎、大數據采集、大數據存儲、大數據分析、大數據融合、大數據隱私、大數據可視化、大數據前沿、醫(yī)療大數據、教育大數據、金融大數據、交通大數據。通過本書,讀者能夠全方位地認識和掌握大數據管理的相關知識,深入了解大數據的應用價值。
本書可作為高等學校大數據管理與應用、信息管理與信息系統(tǒng)等管理類、信息類以及智能建造、智能制造、智慧交通等新工科專業(yè)的本科生、研究生教材,還可作為大數據相關企業(yè)的管理者與實踐者的培訓用書和參考讀物。
何慶,貴州大學,教授,主要研究領域與方向大數據技術應用、機器學習、自然語言處理。貴州省大數據專家?guī)鞂<,中國中文信息學會理事,中國民族醫(yī)藥學會信息與大數據分會理事
第1章 緒論001
1.1 大數據的基本概念001
1.2 數據生命周期002
1.3 大數據的意義003
1.4 大數據的相關技術及作用003
1.5 大數據的應用領域004
1.6 大數據面臨的挑戰(zhàn)006
本章小結006
習題006
參考文獻007
第2章 大數據采集008
【本章導讀】008
【學習目標】008
2.1 大數據采集概述008
2.1.1 基本概念008
2.1.2 數據采集與大數據采集009
2.2 數據質量和數據預處理009
2.2.1 數據預處理010
2.2.2 數據清洗010
2.2.3 數據轉換011
2.2.4 數據消減012
2.3 互聯(lián)網采集013
2.3.1 互聯(lián)網數據特點013
2.3.2 互聯(lián)網采集技術014
2.3.3 互聯(lián)網采集策略015
2.3.4 互聯(lián)網采集現(xiàn)狀016
2.4 物聯(lián)網采集017
2.4.1 物聯(lián)網體系結構018
2.4.2 物聯(lián)網協(xié)議018
2.4.3 物聯(lián)網數據采集技術020
本章小結021
習題022
參考文獻022
第3章 大數據存儲023
【本章導讀】023
【學習目標】023
3.1 數據庫管理技術023
3.1.1 關系數據庫與非關系數據庫023
3.1.2 SQL 數據庫025
3.1.3 NoSQL 數據庫025
3.1.4 NewSQL 數據庫027
3.2 分布式文件系統(tǒng)027
3.2.1 計算機集群的結構027
3.2.2 分布式文件系統(tǒng)的結構028
3.2.3 分布式文件系統(tǒng)的設計需求029
3.2.4 分布式文件系統(tǒng)的存儲原理029
3.3 大數據存儲管理032
3.3.1 大數據存儲管理概念032
3.3.2 大數據存儲數據容災技術033
3.3.3 大數據存儲數據冗余去除技術034
3.3.4 大數據存儲糾刪碼技術與優(yōu)化035
本章小結040
習題040
參考文獻040
第4章 大數據分析042
【本章導讀】042
【學習目標】042
4.1 機器學習042
4.1.1 基礎概念042
4.1.2 監(jiān)督算法043
4.1.3 無監(jiān)督算法048
4.1.4 集成學習050
4.2 深度學習——神經網絡054
4.2.1 基本概念054
4.2.2 前饋神經網絡054
4.2.3 卷積神經網絡055
4.2.4 循環(huán)神經網絡060
4.3 模型評估063
本章小結064
習題065
參考文獻065
第5章 大數據融合067
【本章導讀】067
【學習目標】067
5.1 多源數據067
5.1.1 數據孤島067
5.1.2 多來源與多模態(tài)068
5.1.3 數據溯源069
5.2 數據集成069
5.2.1 聯(lián)邦數據庫與數據聯(lián)邦070
5.2.2 中間件071
5.2.3 數據倉庫072
5.2.4 數據湖072
5.3 數據融合技術073
5.3.1 數據融合073
5.3.2 知識融合076
本章小結078
習題079
參考文獻079
第6章 大數據隱私080
【本章導讀】080
【學習目標】080
6.1 基本概念080
6.1.1 隱私080
6.1.2 大數據隱私的挑戰(zhàn)081
6.2 大數據安全技術082
6.2.1 訪問控制082
6.2.2 同態(tài)加密084
6.2.3 可信執(zhí)行環(huán)境086
6.2.4 密文搜索088
6.3 大數據隱私保護技術089
6.3.1 數據脫敏089
6.3.2 信息混淆090
6.3.3 差分隱私091
6.3.4 多媒體數據隱私保護092
6.4 聯(lián)邦學習093
6.4.1 聯(lián)邦學習架構093
6.4.2 聯(lián)邦學習分類095
6.4.3 聯(lián)邦學習開源平臺096
本章小結099
習題099
參考文獻099
第7章 大數據可視化101
【本章導讀】101
【學習目標】101
7.1 大數據可視化的概念和發(fā)展歷程101
7.1.1 大數據可視化的基本概念101
7.1.2 大數據可視化的發(fā)展歷程102
7.1.3 大數據可視化的基本特征103
7.1.4 大數據可視化的類型104
7.2 大數據可視化基礎106
7.2.1 設計步驟106
7.2.2 視覺編碼106
7.2.3 大數據可視化設計原則107
7.2.4 統(tǒng)計圖表可視化108
7.2.5 大數據可視化工具111
7.3 大數據可視化分析的方法112
7.3.1 網絡數據可視化技術112
7.3.2 時間數據可視化技術113
7.3.3 多維數據可視化技術114
7.3.4 文本可視化技術115
7.3.5 交互可視化技術115
本章小結116
習題116
參考文獻116
第8章 大數據前沿118
【本章導讀】118
【學習目標】118
8.1 關鍵技術118
8.1.1 虛擬現(xiàn)實118
8.1.2 增強現(xiàn)實120
8.1.3 混合現(xiàn)實120
8.1.4 人工智能121
8.1.5 云計算122
8.1.6 區(qū)塊鏈123
8.2 Web 3.0 124
8.2.1 發(fā)展過程125
8.2.2 發(fā)展趨勢127
8.3 工業(yè)4.0 128
8.3.1 發(fā)展歷程129
8.3.2 發(fā)展趨勢130
8.4 智慧城市131
8.4.1 發(fā)展過程131
8.4.2 發(fā)展趨勢132
本章小結133
習題134
參考文獻134
第9章 醫(yī)療大數據135
【本章導讀】135
【學習目標】135
9.1 問題與挑戰(zhàn)135
9.2 基本概念與發(fā)展歷程136
9.2.1 基本概念136
9.2.2 發(fā)展歷程137
9.3 具體案例分析137
9.3.1 電子健康檔案137
9.3.2 智慧居家護理及遠程醫(yī)療142
9.4 未來趨勢147
本章小結148
習題148
參考文獻148
第10章 教育大數據150
【本章導讀】150
【學習目標】150
10.1 問題與挑戰(zhàn)150
10.2 基本概念與發(fā)展歷程151
10.2.1 基本概念151
10.2.2 發(fā)展歷程151
10.3 具體案例分析153
10.3.1 智能技術助力語言學習153
10.3.2 智慧教育的實踐探索154
10.3.3 智能技術助力學校數字轉型155
10.3.4 課程信號大數據教育應用155
10.3.5 學位羅盤大數據教育應用158
10.4 未來趨勢159
本章小結160
習題161
參考文獻161
第11章 金融大數據162
【本章導讀】162
【學習目標】162
11.1 機遇與挑戰(zhàn)163
11.1.1 金融業(yè)發(fā)展面臨的機遇163
11.1.2 金融業(yè)發(fā)展面臨的挑戰(zhàn)164
11.2 基本概念與發(fā)展歷程164
11.2.1 基本概念164
11.2.2 發(fā)展歷程167
11.3 具體案例分析169
11.3.1 精準營銷169
11.3.2 風險控制172
11.4 未來趨勢175
本章小結176
習題176
參考文獻176
第12章 交通大數據178
【本章導讀】178
【學習目標】179
12.1 問題與挑戰(zhàn)179
12.2 基本概念與發(fā)展歷程180
12.2.1 基本概念180
12.2.2 發(fā)展歷程182
12.2.3 交通大數據分類182
12.3 具體案例分析185
12.3.1 路面異!爸悄苎策墶 185
12.3.2 “公交優(yōu)先”特色的上海智慧交通云服務188
12.3.3 貴州交廣“互聯(lián)網+ 智慧交通云平臺” 191
12.4 未來趨勢192
本章小結194
習題194
參考文獻195