第1章 引言 1
1.1 大數(shù)據(jù)的發(fā)展歷程 1
1.2 大數(shù)據(jù)的概念和定義 3
1.2.1 大量(Volume) 4
1.2.2 多樣(Variety) 5
1.2.3 價(jià)值密度低(Value) 5
1.2.4 高速(Velocity) 5
1.2.5 真實(shí)性(Veracity) 6
1.3 大數(shù)據(jù)對社會(huì)的影響 6
1.3.1 大數(shù)據(jù)促進(jìn)經(jīng)濟(jì)發(fā)展 6
1.3.2 大數(shù)據(jù)提升社會(huì)保障 7
1.3.3 數(shù)據(jù)治國 8
1.4 大數(shù)據(jù)的分析方法 9
1.4.1 統(tǒng)計(jì) 9
1.4.2 數(shù)據(jù)挖掘 10
1.4.3 人工智能 11
1.5 數(shù)據(jù)可視化技術(shù) 11
1.5.1 可視化歷史 11
1.5.2 可視化概述 12
1.5.3 可視化應(yīng)用 15
第2章 數(shù)據(jù)預(yù)處理 17
2.1 什么是網(wǎng)絡(luò)爬蟲 17
2.2 網(wǎng)絡(luò)爬蟲的實(shí)現(xiàn) 18
2.2.1 Python編程語言 18
2.2.2 正則表達(dá)式 19
2.2.3 超文本標(biāo)記語言 21
2.2.4 超文本傳輸協(xié)議 23
2.3 數(shù)據(jù)清洗 24
2.3.1 處理缺失值 24

2.3.2 處理異常值 25
2.3.3 處理噪聲 26
第3章 基礎(chǔ)統(tǒng)計(jì)分析 29
3.1 統(tǒng)計(jì)學(xué)的基本概念 29
3.2 連續(xù)變量的統(tǒng)計(jì)描述 30
3.2.1 頻數(shù) 30
3.2.2 集中趨勢描述指標(biāo) 32
3.2.3 離散趨勢描述指標(biāo) 33
3.3 分類變量的統(tǒng)計(jì)描述 33
3.4 常用統(tǒng)計(jì)圖 34
3.4.1 餅圖 35
3.4.2 柱狀圖 36
3.4.3 散點(diǎn)圖 38
3.4.4 折線圖 39
3.5 統(tǒng)計(jì)分析應(yīng)用示例 41
3.5.1 人口變化總趨勢 41
3.5.2 人口結(jié)構(gòu)變化 42
3.5.3 二胎與生育率 43
第4章 多維數(shù)據(jù)分析 45
4.1 多維數(shù)據(jù)概述 45
4.2 多維數(shù)據(jù)過濾分析 46
4.3 相關(guān)性分析 50
4.3.1 一般性相關(guān)性分析 50
4.3.2 多維數(shù)據(jù)可視化相關(guān)性分析 51
4.4 聚類分析 52
4.5 降維分析 54
4.5.1 主成分分析 54
4.5.2 多維尺度變換 56
4.5.3 T分布隨機(jī)鄰域嵌入 57
4.6 多維特征提取 58
4.6.1 雷達(dá)圖 59
4.6.2 用戶畫像 59
4.6.3 Radviz特征提取 60
4.7 多維數(shù)據(jù)分析應(yīng)用示例 61
4.7.1 郡縣特征的關(guān)聯(lián)度 61
4.7.2 多維度分析得票率的關(guān)鍵因素 63
第5章 時(shí)序數(shù)據(jù)分析 65
5.1 時(shí)序數(shù)據(jù)概述 65
5.2 多維時(shí)序數(shù)據(jù)呈現(xiàn)折線 67
5.3 多維時(shí)序數(shù)據(jù)呈現(xiàn)柱狀 69
5.4 預(yù)測分析 72
5.4.1 移動(dòng)平均 72
5.4.2 指數(shù)平滑 73
5.4.3 三次指數(shù)平滑 74
5.5 周期性檢測 75
5.6 時(shí)序分析應(yīng)用示例 77
5.6.1 美國各州新冠病毒肺炎確診病例數(shù)的動(dòng)態(tài)變化 77
5.6.2 美國紐約州、加州疫情發(fā)展變化 79
5.6.3 美國疫情總體態(tài)勢 80
5.6.4 美國疫情預(yù)測 81
第6章 地理數(shù)據(jù)分析 83
6.1 地理熱度分析 83
6.2 地理空間分析 86
6.3 連接地圖 87
6.4 地理分析應(yīng)用示例 88
6.4.1 美國疫情確診情況 88
6.4.2 美國疫情死亡情況 90
6.4.3 美國疫情傳播分析 91
6.4.4 宅在家里還是出門旅行 93
第7章 圖數(shù)據(jù)分析 95
7.1 圖數(shù)據(jù)概述 95
7.2 樹圖 96
7.3 圖數(shù)據(jù)的量化可視化分析 98
7.3.1 矩形樹圖 98
7.3.2 旭日圖 98
7.4 圖數(shù)據(jù)嵌套關(guān)系分析 99
7.4.1 矩形堆積圖 99
7.4.2 圓堆積圖 100
7.5 圖數(shù)據(jù)中的關(guān)聯(lián)數(shù)據(jù) 101
7.5.1 弧線圖 101
7.5.2 極坐標(biāo)弧線圖 101
7.5.3 弦圖 102
7.5.4 沖積圖 103
7.6 力導(dǎo)向布局分析 104
7.6.1 力導(dǎo)向設(shè)計(jì)思路 104
7.6.2 力導(dǎo)向布局優(yōu)點(diǎn) 104
7.6.3 力導(dǎo)向布局缺點(diǎn) 105
7.7 搜索算法 105
7.7.1 廣度優(yōu)先搜索算法 106
7.7.2 深度優(yōu)先搜索算法 108
7.8 短路徑算法 109
7.9 圖分析應(yīng)用示例 109
7.9.1 美國人口普查分區(qū) 110
7.9.2 美國新冠病毒肺炎確診病例按人口普查分區(qū)分布 110
第8章 文本數(shù)據(jù)分析 115
8.1 文本數(shù)據(jù)概述 115
8.2 文本向量化 116
8.2.1 詞袋模型 116
8.2.2 Word2Vec模型 116
8.3 分詞 118
8.4 關(guān)鍵詞提取 120
8.5 知識(shí)圖譜 121
8.6 其他文本處理技術(shù)簡介 122
8.7 文本分析應(yīng)用示例 124
8.7.1 特朗普和拜登社交媒體回復(fù)輿情分析 124
8.7.2 特朗普和拜登在社交媒體上的宣傳策略 125
8.7.3 小結(jié) 127
第9章 多媒體數(shù)據(jù)分析 129
9.1 數(shù)字圖像處理 129
9.1.1 亮度調(diào)整 130
9.1.2 直方圖均衡化 132
9.1.3 高斯平滑 133
9.1.4 邊緣檢測 135
9.2 數(shù)字音頻處理 135
9.3 數(shù)字視頻處理 137
9.4 多媒體分析應(yīng)用示例 137
第10章 綜合應(yīng)用示例：中國社會(huì)發(fā)展調(diào)研 139
10.1 經(jīng)濟(jì)總體指標(biāo)分析 139
10.2 城鎮(zhèn)化發(fā)展分析 142
10.3 國際影響力分析 145
10.4 科技發(fā)展分析 147
10.5 教育發(fā)展分析 149
10.6 文化發(fā)展分析 151
10.7 醫(yī)療衛(wèi)生發(fā)展分析 153
10.8 環(huán)境治理狀況分析 154
10.9 居民收入變化分析 156
參考資料