項(xiàng)目一 大數(shù)據(jù)采集認(rèn)知 001
任務(wù)1.1 開(kāi)始大數(shù)據(jù)采集認(rèn)知 002
1.1.1 任務(wù)描述 002
1.1.2 知識(shí)準(zhǔn)備 002
1.1.3 任務(wù)效果 007
任務(wù)1.2 了解大數(shù)據(jù)采集平臺(tái) 007
1.2.1 任務(wù)描述 007
1.2.2 知識(shí)準(zhǔn)備 008
1.2.3 任務(wù)實(shí)施 009
1.2.4 任務(wù)效果 021
任務(wù)1.3 認(rèn)識(shí)大數(shù)據(jù)預(yù)處理 021
1.3.1 任務(wù)描述 021
1.3.2 知識(shí)準(zhǔn)備 022
1.3.3 任務(wù)實(shí)施 022
1.3.4 任務(wù)效果 033
任務(wù)1.4 了解大數(shù)據(jù)預(yù)處理常用工具 034
1.4.1 任務(wù)描述 034
1.4.2 任務(wù)實(shí)施 035
1.4.3 任務(wù)效果 042
項(xiàng)目小結(jié) 043
習(xí)題 044
項(xiàng)目二 使用Apache Flume采集日志數(shù)據(jù) 045
任務(wù)2.1 Windows環(huán)境下的Apache Flume環(huán)境搭建 046
2.1.1 任務(wù)描述 046
2.1.2 知識(shí)準(zhǔn)備 046
2.1.3 任務(wù)實(shí)施 060
2.1.4 任務(wù)效果 067
任務(wù)2.2 Apache Flume數(shù)據(jù)采集案例 067
2.2.1 任務(wù)描述 067
2.2.2 任務(wù)實(shí)施 068
項(xiàng)目小結(jié) 071
習(xí)題 072
項(xiàng)目三 使用Logstash采集日志數(shù)據(jù) 074
任務(wù)3.1 Logstash工具安裝 075
3.1.1 任務(wù)描述 075
3.1.2 知識(shí)準(zhǔn)備 075
3.1.3 任務(wù)實(shí)施 089
3.1.4 任務(wù)效果 093
任務(wù)3.2 Logstash數(shù)據(jù)采集工作 094
3.2.1 任務(wù)描述 094
3.2.2 任務(wù)實(shí)施 095
3.2.3 任務(wù)效果 097
項(xiàng)目小結(jié) 097
習(xí)題 098
項(xiàng)目四 使用爬蟲(chóng)工具完成網(wǎng)頁(yè)數(shù)據(jù)獲取 099
任務(wù)4.1 使用Web Scraper完成列車時(shí)刻表數(shù)據(jù)采集工作 100
4.1.1 任務(wù)描述 100
4.1.2 任務(wù)知識(shí)準(zhǔn)備 100
4.1.3 任務(wù)實(shí)施 107
4.1.4 任務(wù)效果 115
任務(wù)4.2 使用八爪魚(yú)工具采集數(shù)據(jù) 115
4.2.1 任務(wù)描述 115
4.2.2 知識(shí)準(zhǔn)備 116
4.2.3 任務(wù)實(shí)施 117
4.2.4 任務(wù)效果 123
項(xiàng)目小結(jié) 123
習(xí)題 124
項(xiàng)目五 完成招聘數(shù)據(jù)預(yù)處理 125
任務(wù)5.1 使用OpenRefine完成數(shù)據(jù)清洗任務(wù) 126
5.1.1 任務(wù)描述 126
5.1.2 任務(wù)實(shí)施 126
5.1.3 任務(wù)效果 137
任務(wù)5.2 使用Kettle完成數(shù)據(jù)集成任務(wù) 138
5.2.1 任務(wù)描述 138
5.2.2 任務(wù)實(shí)施 138
5.2.3 任務(wù)效果 158
項(xiàng)目小結(jié) 159
習(xí)題 159
項(xiàng)目六 數(shù)據(jù)可視化處理 161
任務(wù)6.1 數(shù)據(jù)可視化認(rèn)知 162
6.1.1 任務(wù)描述 162
6.1.2 知識(shí)準(zhǔn)備 162
6.1.3 任務(wù)效果 167
任務(wù)6.2 熟悉Echarts數(shù)據(jù)可視化 167
6.2.1 任務(wù)描述 167
6.2.2 知識(shí)準(zhǔn)備 168
6.2.3 任務(wù)實(shí)施 169
任務(wù)6.2.3 任務(wù)效果 183
任務(wù)6.3 使用Tableau Desktop完成數(shù)據(jù)可視化任務(wù) 183
6.3.1 任務(wù)描述 183
6.3.2 知識(shí)準(zhǔn)備 183
6.3.3 任務(wù)實(shí)施 187
6.3.4 任務(wù)效果 197
項(xiàng)目小結(jié) 198
習(xí)題 198
項(xiàng)目七 數(shù)據(jù)標(biāo)注 199
預(yù)備知識(shí) 200
任務(wù)7.1 安裝Labelme圖像標(biāo)注工具 201
7.1.1 任務(wù)描述 201
7.1.2 知識(shí)準(zhǔn)備 202
7.1.3 任務(wù)實(shí)施 203
任務(wù)7.2 使用Labelme標(biāo)注工具完成數(shù)據(jù)標(biāo)注任務(wù) 206
7.2.1 任務(wù)描述 206
7.2.2 知識(shí)準(zhǔn)備 206
7.2.3 任務(wù)實(shí)施 207
項(xiàng)目小結(jié) 221
習(xí)題 221