第 1 章 初識(shí)網(wǎng)絡(luò)爬蟲(chóng)
e 學(xué)碼：5 個(gè)
1.1 網(wǎng)絡(luò)爬蟲(chóng)概述
1.2 網(wǎng)絡(luò)爬蟲(chóng)的分類(lèi)
1.3 網(wǎng)絡(luò)爬蟲(chóng)的基本原理
1.4 Windows下搭建開(kāi)發(fā)環(huán)境
1.4.1 安裝Anaconda
1.4.2 PyCharm的下載與安裝
1.4.3 配置PyCharm
1.4.4 測(cè)試PyCharm
第 2 章 請(qǐng)求模塊 Urllib
精彩實(shí)例：22 個(gè) e 學(xué)碼：5 個(gè)
2.1 Urllib簡(jiǎn)介
2.2 使用urlopen()方法發(fā)送請(qǐng)求
2.2.1 發(fā)送GET請(qǐng)求
? 實(shí)例2.1 演示常用的方法與屬性
2.2.2 發(fā)送POST請(qǐng)求
? 實(shí)例2.2 發(fā)送POST請(qǐng)求
2.2.3 設(shè)置網(wǎng)絡(luò)超時(shí)
? 實(shí)例2.3 處理網(wǎng)絡(luò)超時(shí)
2.3 復(fù)雜的網(wǎng)絡(luò)請(qǐng)求
2.3.1 設(shè)置請(qǐng)求頭
? 實(shí)例2.4 設(shè)置請(qǐng)求頭
2.3.2 Cookie的獲取與設(shè)置
? 實(shí)例2.5 模擬登錄
? 實(shí)例2.6 獲取Cookie
? 實(shí)例2.7 保存Cookie文件
? 實(shí)例2.8 使用Cookie信息登錄并獲取登錄后頁(yè)面中的信息
2.3.3 設(shè)置代理IP地址

? 實(shí)例2.9 設(shè)置代理IP地址
2.4 異常處理
? 實(shí)例2.10 處理URLError異常
? 實(shí)例2.11 使用HTTPError類(lèi)捕獲異常
? 實(shí)例2.12 雙重異常的捕獲
2.5 解析鏈接
2.5.1 拆分URL
? 實(shí)例2.13 使用urlparse()方法拆分URL
? 實(shí)例2.14 使用urlsplit()方法拆分URL
2.5.2 組合URL
? 實(shí)例2.15 使用urlunparse()方法組合URL
? 實(shí)例2.16 使用urlunsplit()方法組合URL
2.5.3 連接URL
? 實(shí)例2.17 使用urljoin()方法連接URL
2.5.4 URL的編碼與解碼
? 實(shí)例2.18 使用urlencode()方法編碼請(qǐng)求
參數(shù)
? 實(shí)例2.19 使用quote()方法編碼字符串
參數(shù)
? 實(shí)例2.20 使用unquote()方法解碼請(qǐng)求
參數(shù)
2.5.5 URL參數(shù)的轉(zhuǎn)換
? 實(shí)例2.21 使用parse_qs()方法將參數(shù)轉(zhuǎn)換
為字典類(lèi)型
? 實(shí)例2.22 使用parse_qsl()方法將參數(shù)轉(zhuǎn)換為元組所組成的列表
第 3 章 請(qǐng)求模塊 requests
精彩實(shí)例：13 個(gè) e 學(xué)碼：6 個(gè)
3.1 請(qǐng)求方式
3.1.1 GET請(qǐng)求
? 實(shí)例3.1 實(shí)現(xiàn)不帶參數(shù)的GET網(wǎng)絡(luò)請(qǐng)求
3.1.2 對(duì)響應(yīng)結(jié)果進(jìn)行utf-8編碼
? 實(shí)例3.2 獲取請(qǐng)求地址所對(duì)應(yīng)的網(wǎng)頁(yè)源碼
3.1.3 爬取二進(jìn)制數(shù)據(jù)
? 實(shí)例3.3 下載某網(wǎng)站首頁(yè)中的logo圖片
3.1.4 GET（帶參）請(qǐng)求
3.1.5 POST請(qǐng)求
? 實(shí)例3.4 實(shí)現(xiàn)POST請(qǐng)求
3.2 復(fù)雜的網(wǎng)絡(luò)請(qǐng)求
3.2.1 添加請(qǐng)求頭
? 實(shí)例3.5 添加請(qǐng)求頭
3.2.2 驗(yàn)證Cookie
? 實(shí)例3.6 通過(guò)驗(yàn)證Cookie模擬網(wǎng)頁(yè)登錄
3.2.3 會(huì)話請(qǐng)求
? 實(shí)例3.7 實(shí)現(xiàn)會(huì)話請(qǐng)求
3.2.4 驗(yàn)證請(qǐng)求
? 實(shí)例3.8 驗(yàn)證請(qǐng)求
3.2.5 網(wǎng)絡(luò)超時(shí)與異常
? 實(shí)例3.9 演示網(wǎng)絡(luò)超時(shí)與異常
? 實(shí)例3.10 識(shí)別網(wǎng)絡(luò)異常的分類(lèi)
3.2.6 上傳文件
? 實(shí)例3.11 上傳圖片文件
3.3 代理服務(wù)
3.3.1 代理的應(yīng)用
? 實(shí)例3.12 通過(guò)代理發(fā)送請(qǐng)求
3.3.2 獲取免費(fèi)的代理IP地址
3.3.3 檢測(cè)代理IP地址是否有效
? 實(shí)例3.13 檢測(cè)代理IP地址是否有效
第 4 章 高級(jí)網(wǎng)絡(luò)請(qǐng)求模塊
精彩實(shí)例：1 個(gè) e 學(xué)碼：5 個(gè)
4.1 requests-cache的安裝與測(cè)試
4.2 緩存的應(yīng)用
4.3 強(qiáng)大的requests-HTML模塊
4.3.1 使用requests-HTML實(shí)現(xiàn)網(wǎng)絡(luò)請(qǐng)求. 51 4.3.2 數(shù)據(jù)的提取
? 實(shí)例4.1 爬取即時(shí)新聞

第 5 章 正則表達(dá)式

精彩實(shí)例：8 個(gè) e 學(xué)碼：2 個(gè)
5.1 使用search()方法匹配字符串
5.1.1 獲取第一個(gè)指定字符開(kāi)頭的字符串
? 實(shí)例5.1 搜索第一個(gè)“mr_”開(kāi)頭的字符串
5.1.2 可選匹配
? 實(shí)例5.2 可選匹配字符串中的內(nèi)容
5.1.3 匹配字符串邊界
? 實(shí)例5.3 使用“\b”匹配字符串的邊界
5.2 使用findall()方法匹配字符串
5.2.1 匹配所有指定字符開(kāi)頭的字符串
? 實(shí)例5.4 匹配所有以“mr_”開(kāi)頭的字符串
5.2.2 貪婪匹配
? 實(shí)例5.5 使用“.*”實(shí)現(xiàn)貪婪匹配字符串
5.2.3 非貪婪匹配
? 實(shí)例5.6 使用“.*？”實(shí)現(xiàn)非貪婪匹配字符串
5.3 字符串處理
5.3.1 替換字符串
? 實(shí)例5.7 使用sub()方法替換字符串
5.3.2 分割字符串
? 實(shí)例5.8 使用split()方法分割字符串.
5.4 案例：爬取某音樂(lè)熱歌榜
5.4.1 分析數(shù)據(jù)
5.4.2 實(shí)現(xiàn)爬蟲(chóng)
第 6 章 XPath 解析
精彩實(shí)例：15 個(gè) e 學(xué)碼：2 個(gè)
6.1 XPath概述
6.2 XPath的解析操作
6.2.1 解析HTML
? 實(shí)例6.1 解析本地的HTML文件
? 實(shí)例6.2 解析字符串類(lèi)型的HTML代碼
? 實(shí)例6.3 解析服務(wù)器返回的HTML代碼
6.2.2 獲取所有節(jié)點(diǎn)
? 實(shí)例6.4 獲取HTML代碼的所有節(jié)點(diǎn)
6.2.3 獲取子節(jié)點(diǎn)
? 實(shí)例6.5 獲取一個(gè)節(jié)點(diǎn)中的子節(jié)點(diǎn)
? 實(shí)例6.6 獲取子孫節(jié)點(diǎn)
6.2.4 獲取父節(jié)點(diǎn)
? 實(shí)例6.7 獲取一個(gè)節(jié)點(diǎn)的父節(jié)點(diǎn)
6.2.5 獲取文本
? 實(shí)例6.8 獲取HTML代碼中的文本
6.2.6 屬性的單值匹配
? 實(shí)例6.9 使用“[@. ]”實(shí)現(xiàn)節(jié)點(diǎn)屬性的
匹配
? 實(shí)例6.10 屬性多值匹配
? 實(shí)例6.11 一個(gè)節(jié)點(diǎn)中多個(gè)屬性的匹配.
6.2.7 獲取屬性
? 實(shí)例6.12 獲取屬性所對(duì)應(yīng)的值
6.2.8 按序獲取屬性值
? 實(shí)例6.13 使用索引按序獲取屬性對(duì)應(yīng)的值
6.2.9 使用節(jié)點(diǎn)軸獲取節(jié)點(diǎn)內(nèi)容
? 實(shí)例6.14 使用節(jié)點(diǎn)軸的方式獲取節(jié)點(diǎn)內(nèi)容
6.3 案例：爬取某網(wǎng)站電影Top250
6.3.1 分析請(qǐng)求地址
6.3.2 分析信息位置
6.3.3 爬蟲(chóng)代碼的實(shí)現(xiàn)
? 實(shí)例6.15 編寫(xiě)爬取某網(wǎng)站電影
Top250的代碼
第 7 章 解析數(shù)據(jù)的 Beautiful Soup 模塊82
精彩實(shí)例：13 個(gè) e 學(xué)碼：3 個(gè)
7.1 使用Beautiful Soup解析數(shù)據(jù)
7.1.1 Beautiful Soup的安裝
7.1.2 解析器
7.1.3 Beautiful Soup的簡(jiǎn)單應(yīng)用
? 實(shí)例7.1 解析HTML代碼
7.2 獲取節(jié)點(diǎn)內(nèi)容
7.2.1 獲取節(jié)點(diǎn)對(duì)應(yīng)的代碼
? 實(shí)例7.2 獲取節(jié)點(diǎn)對(duì)應(yīng)的代碼
7.2.2 獲取節(jié)點(diǎn)屬性
? 實(shí)例7.3 獲取節(jié)點(diǎn)屬性

7.2.3 獲取節(jié)點(diǎn)包含的文本內(nèi)容
7.2.4 嵌套獲取節(jié)點(diǎn)內(nèi)容
? 實(shí)例7.4 嵌套獲取節(jié)點(diǎn)內(nèi)容
7.2.5 關(guān)聯(lián)獲取
? 實(shí)例7.5 獲取子節(jié)點(diǎn)
? 實(shí)例7.6 獲取子孫節(jié)點(diǎn)
? 實(shí)例7.7 獲取父節(jié)點(diǎn)
? 實(shí)例7.8 獲取兄弟節(jié)點(diǎn)
7.3 使用方法獲取內(nèi)容
7.3.1 find_all()方法——獲取所有符合
條件的內(nèi)容
? 實(shí)例7.9 find_all(name)方法通過(guò)節(jié)點(diǎn)名稱獲取內(nèi)容
? 實(shí)例7.10 find_all(attrs)方法通過(guò)指定屬性獲取內(nèi)容
? 實(shí)例7.11 find_all(text)方法獲取節(jié)點(diǎn)中的文本
7.3.2 find()方法——獲取第一個(gè)匹配的節(jié)點(diǎn)內(nèi)容
? 實(shí)例7.12 獲取第一個(gè)匹配的節(jié)點(diǎn)內(nèi)容
7.3.3 其他方法
7.4 CSS選擇器
? 實(shí)例7.13 使用CSS選擇器獲取節(jié)點(diǎn)內(nèi)容 97
第 8 章 多線程與多進(jìn)程爬蟲(chóng)
精彩實(shí)例：11 個(gè) e 學(xué)碼：6 個(gè)
8.1 進(jìn)程與線程
8.1.1 什么是進(jìn)程
8.1.2 什么是線程
8.2 創(chuàng)建線程
8.2.1 使用threading模塊創(chuàng)建線程
? 實(shí)例8.1 使用threading模塊創(chuàng)建線程
8.2.2 使用Thread子類(lèi)創(chuàng)建線程
? 實(shí)例8.2 使用Thread子類(lèi)創(chuàng)建線程
8.3 線程間通信
? 實(shí)例8.3 驗(yàn)證線程之間是否可以共享信息
8.3.1 什么是互斥鎖
8.3.2 使用互斥鎖
? 實(shí)例8.4 使用多線程的互斥鎖
8.3.3 使用Queue在線程間通信
? 實(shí)例8.5 使用Queue在線程間通信
8.4 創(chuàng)建進(jìn)程的常用方式
8.4.1 使用multiprocessing模塊創(chuàng)建進(jìn)程
? 實(shí)例8.6 演示Process類(lèi)的方法和屬性的使用
8.4.2 使用Process子類(lèi)創(chuàng)建進(jìn)程
? 實(shí)例8.7 使用Process子類(lèi)創(chuàng)建多個(gè)進(jìn)程
8.4.3 使用Pool進(jìn)程池創(chuàng)建進(jìn)程
? 實(shí)例8.8 使用進(jìn)程池創(chuàng)建多進(jìn)程
8.5 進(jìn)程間通信
? 實(shí)例8.9 驗(yàn)證進(jìn)程之間能否直接共享信息
8.5.1 隊(duì)列簡(jiǎn)介
8.5.2 多進(jìn)程隊(duì)列的使用
? 實(shí)例8.10 多進(jìn)程隊(duì)列的使用
8.5.3 使用隊(duì)列在進(jìn)程間通信
? 實(shí)例8.11 使用隊(duì)列在進(jìn)程間通信
第 9 章 數(shù)據(jù)處理與存儲(chǔ)
精彩實(shí)例：8 個(gè) e 學(xué)碼：7 個(gè)
9.1 數(shù)據(jù)處理
9.1.1 pandas數(shù)據(jù)結(jié)構(gòu)
9.1.2 數(shù)據(jù)的增、刪、改、查
9.1.3 NaN數(shù)據(jù)處理
9.1.4 刪除重復(fù)數(shù)據(jù)
9.2 文件的存取
9.2.1 TXT基本文件操作
? 實(shí)例9.1 TXT文件存儲(chǔ)
? 實(shí)例9.2 讀取message.txt文件中的
前9個(gè)字符
? 實(shí)例9.3 從文件的第11個(gè)字符開(kāi)始
讀取8個(gè)字符
? 實(shí)例9.4 讀取一行
? 實(shí)例9.5 讀取全部行
9.2.2 存取CSV文件
9.2.3 存取Excel文件
9.3 SQLite數(shù)據(jù)庫(kù)
9.3.1 創(chuàng)建數(shù)據(jù)庫(kù)文件
9.3.2 操作SQLite
9.4 MySQL數(shù)據(jù)庫(kù)

9.4.2 安裝MySQL服務(wù)器
? 實(shí)例9.6 連接數(shù)據(jù)庫(kù)
? 實(shí)例9.7 創(chuàng)建數(shù)據(jù)表
? 實(shí)例9.8 操作數(shù)據(jù)表
第 10 章 App 抓包工具
e 學(xué)碼：6 個(gè)
10.1 Charles工具的下載與安裝
10.2 SSL證書(shū)的安裝
10.2.1 安裝PC端證書(shū)
10.2.2 設(shè)置代理
10.2.3 配置網(wǎng)絡(luò)
10.2.4 安裝手機(jī)端證書(shū)
第 11 章 識(shí)別驗(yàn)證碼
精彩實(shí)例：4 個(gè) e 學(xué)碼：5 個(gè)
11.1 字符驗(yàn)證碼
11.1.1 搭建OCR環(huán)境
11.1.2 下載驗(yàn)證碼圖片
? 實(shí)例11.1 下載驗(yàn)證碼圖片
11.1.3 識(shí)別驗(yàn)證碼
? 實(shí)例11.2 識(shí)別驗(yàn)證碼
11.2 第三方驗(yàn)證碼識(shí)別
? 實(shí)例11.3 第三方打碼平臺(tái)
11.3 滑動(dòng)拼圖驗(yàn)證碼
? 實(shí)例11.4 滑動(dòng)拼圖驗(yàn)證碼
第 12 章 Scrapy 爬蟲(chóng)框架
精彩實(shí)例：8 個(gè) e 學(xué)碼：8 個(gè)
12.1 了解Scrapy爬蟲(chóng)框架
12.2 Scrapy的基本應(yīng)用
12.2.1 創(chuàng)建Scrapy項(xiàng)目
12.2.2 創(chuàng)建爬蟲(chóng)
? 實(shí)例12.1 爬取網(wǎng)頁(yè)代碼并保存HTML
文件
12.2.3 獲取數(shù)據(jù)
? 實(shí)例12.2 使用XPath表達(dá)式獲取多條信息
? 實(shí)例12.3 翻頁(yè)提取數(shù)據(jù)
? 實(shí)例12.4 包裝結(jié)構(gòu)化數(shù)據(jù)
12.2.4 將爬取的數(shù)據(jù)保存為多種格式的
文件
12.3 編寫(xiě)Item Pipeline
12.3.1 Item Pipeline的核心方法
12.3.2 將信息存儲(chǔ)到數(shù)據(jù)庫(kù)
? 實(shí)例12.5 將數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)
12.4 自定義中間件
12.4.1 設(shè)置隨機(jī)請(qǐng)求頭
? 實(shí)例12.6 設(shè)置隨機(jī)請(qǐng)求頭
12.4.2 設(shè)置Cookie
12.4.3 設(shè)置代理IP地址
? 實(shí)例12.7 隨機(jī)代理中間件
12.5 文件下載
? 實(shí)例12.8 下載手機(jī)商品圖片
第 13 章 爬取編程 e 學(xué)網(wǎng)視頻
精彩實(shí)例：8 個(gè) e 學(xué)碼：8 個(gè)
13.1 案例效果預(yù)覽
13.2 案例準(zhǔn)備
13.3 業(yè)務(wù)流程

13.4 實(shí)現(xiàn)過(guò)程
13.4.1 查找視頻頁(yè)面
13.4.2 分析視頻地址
13.4.3 實(shí)現(xiàn)視頻下載
第 14 章 爬取某網(wǎng)站的手機(jī)數(shù)據(jù)
14.1 案例效果預(yù)覽
14.2 案例準(zhǔn)備
14.3 業(yè)務(wù)流程
14.4 實(shí)現(xiàn)過(guò)程
14.4.1 分析手機(jī)主頁(yè)中的每頁(yè)地址
14.4.2 分析每個(gè)手機(jī)的詳情頁(yè)地址
14.4.3 確認(rèn)詳情頁(yè)手機(jī)數(shù)據(jù)的位置
14.4.4 創(chuàng)建MySQL數(shù)據(jù)表
14.4.5 編寫(xiě)爬蟲(chóng)程序
第 15 章 爬取北、上、廣、深租房信息
15.1 案例效果預(yù)覽
15.2 案例準(zhǔn)備
15.3 業(yè)務(wù)流程
15.4 實(shí)現(xiàn)過(guò)程
15.4.1 獲取租房信息總頁(yè)碼
15.4.2 確認(rèn)數(shù)據(jù)所在的標(biāo)簽位置
15.4.3 編寫(xiě)爬蟲(chóng)程序提取數(shù)據(jù)