![]() ![]() |
大數(shù)據(jù)采集與預處理
本書共分兩部分:第一部分是網(wǎng)絡數(shù)據(jù)采集與預處理的基礎理論實踐,包括任務1-任務6,主要講解如何使用Python編寫網(wǎng)絡數(shù)據(jù)采集和預處理程序,內(nèi)容包括Python環(huán)境搭建,Python基礎語法、語句與函數(shù),網(wǎng)絡基礎知識,常用網(wǎng)絡數(shù)據(jù)采集與預處理庫和解析庫、數(shù)據(jù)持久化保存,以及requests庫、Numpy庫、Pandas庫、Selenium技術(shù)、ChromeDriver技術(shù)和Scrapy技術(shù)的應用方式。第二部分是網(wǎng)絡數(shù)據(jù)采集與預處理的綜合案例,包括任務7-任務9,主要講解requests庫數(shù)據(jù)采集與Echarts可視化技術(shù)相結(jié)合并持久化保存和數(shù)據(jù)預處理的應用案例;Selenium和ChromeDriver技術(shù)相結(jié)合模擬登錄,采集動態(tài)和靜態(tài)數(shù)據(jù)并持久化保存和數(shù)據(jù)預處理的應用案例;Hadoop平臺的Flume日志數(shù)據(jù)采集應用案例,充分呈現(xiàn)了大數(shù)據(jù)采集與預處理主流技術(shù)與可視化技術(shù)的主要功能和特點。
你還可能感興趣
我要評論
|