目錄

第1章Python網(wǎng)絡(luò)爬蟲入門

1.1所需技能與Python版本

1.1.1所需技術(shù)能力

1.1.2選擇Python的原因

1.1.3選擇Python 3.x的原因

1.2初識網(wǎng)絡(luò)爬蟲

1.2.1網(wǎng)絡(luò)爬蟲的概念

1.2.2網(wǎng)絡(luò)爬蟲的應(yīng)用

1.2.3Robots協(xié)議

1.3搜索引擎核心

1.4快速爬取網(wǎng)頁示例

1.5本章小結(jié)

1.6習(xí)題

第2章爬蟲基礎(chǔ)知識

2.1Cookie的使用

2.1.1Cookie的概念

2.1.2使用Cookiejar處理Cookie

2.2正則表達(dá)式

2.2.1正則表達(dá)式的概念

2.2.2正則表達(dá)式詳解

2.3標(biāo)記語言

2.4XPath

2.5JSON

2.6BeautifulSoup

2.6.1安裝BeautifulSoup

2.6.2BeautifulSoup的使用

2.7本章小結(jié)

2.8習(xí)題

第3章urllib與requests

3.1urllib庫

3.1.1urllib庫的概念

3.1.2urllib庫的使用

3.2設(shè)置HTTP請求方法

3.2.1GET請求實(shí)戰(zhàn)

3.2.2設(shè)置代理服務(wù)

3.3異常處理

3.3.1URLError異常處理

3.3.2HTTPError異常處理

3.4requests庫

3.4.1安裝requests庫

3.4.2發(fā)送請求

3.4.3響應(yīng)接收

3.4.4會話對象

3.5本章小結(jié)

3.6習(xí)題

第4章網(wǎng)絡(luò)爬蟲實(shí)例

4.1圖片爬蟲實(shí)例

4.2鏈接爬蟲實(shí)例

4.3文字爬蟲實(shí)例

4.4微信文章爬蟲

4.5多線程爬蟲及實(shí)例

4.6本章小結(jié)

4.7習(xí)題

第5章數(shù)據(jù)處理

5.1存儲HTML正文內(nèi)容

5.1.1存儲為JSON格式

5.1.2存儲為CSV格式

5.2存儲媒體文件

5.3Email提醒

5.4pymysql模塊

5.5本章小結(jié)

5.6習(xí)題

第6章數(shù)據(jù)庫存儲

6.1SQLite

6.1.1SQLite介紹

6.1.2安裝SQLite

6.1.3Python與SQLite

6.1.4創(chuàng)建SQLite表

6.1.5添加SQLite表記錄

6.1.6查詢SQLite表記錄

6.1.7更新SQLite表記錄

6.1.8刪除SQLite表記錄

6.2MongoDB

6.2.1MongoDB簡介

6.2.2MongoDB適用場景

6.2.3MongoDB的安裝

6.2.4MongoDB基礎(chǔ)

6.2.5在Python中操作MongoDB

6.3Redis

6.3.1Redis簡介

6.3.2Redis適用場景

6.3.3Redis的安裝

6.3.4Redis數(shù)據(jù)類型與操作

6.3.5在Python中操作Redis

6.4本章小結(jié)

6.5習(xí)題

第7章抓取動態(tài)網(wǎng)頁內(nèi)容

7.1JavaScript簡介

7.1.1JS語言特性

7.1.2JS簡單示例

7.1.3JavaScript庫

7.1.4Ajax簡介

7.2爬取動態(tài)網(wǎng)頁的工具

7.2.1Selenium庫

7.2.2PhantomJS瀏覽器

7.2.3Firefox的headless模式

7.2.4Selenium的選擇器

7.2.5Selenium等待方式

7.2.6客戶端重定向

7.3爬取動態(tài)網(wǎng)頁實(shí)例

7.4本章小結(jié)

7.5習(xí)題

第8章瀏覽器偽裝與定向爬取

8.1瀏覽器偽裝介紹

8.1.1抓包工具Fiddler

8.1.2瀏覽器偽裝過程分析

8.1.3瀏覽器偽裝技術(shù)實(shí)戰(zhàn)

8.2定向爬蟲

8.2.1定向爬蟲分析

8.2.2定向爬蟲實(shí)戰(zhàn)

8.3本章小結(jié)

8.4習(xí)題

第9章初探Scrapy爬蟲框架

9.1了解爬蟲框架

9.1.1初識Scrapy框架

9.1.2初識Crawley框架

9.1.3初識Portia框架

9.1.4初識Newspaper框架

9.2Scrapy介紹

9.2.1安裝Scrapy

9.2.2Scrapy程序管理

9.2.3Scrapy項(xiàng)目的目錄結(jié)構(gòu)

9.3常用命令

9.3.1Scrapy全局命令

9.3.2Scrapy項(xiàng)目命令

9.3.3Scrapy的Item對象

9.4編寫Spider程序

9.4.1初識Spider

9.4.2Spider文件參數(shù)傳遞

9.5Spider反爬蟲機(jī)制

9.6本章小結(jié)

9.7習(xí)題

第10章深入Scrapy爬蟲框架

10.1Scrapy核心架構(gòu)

10.2Scrapy組件詳解

10.3Scrapy數(shù)據(jù)處理

10.3.1Scrapy數(shù)據(jù)輸出

10.3.2Scrapy數(shù)據(jù)存儲

10.4Scrapy自動化爬取

10.4.1創(chuàng)建項(xiàng)目并編寫items.py

10.4.2編寫pipelines.py

10.4.3修改settings.py

10.4.4編寫爬蟲文件

10.4.5執(zhí)行自動化爬蟲

10.5CrawlSpider

10.5.1創(chuàng)建CrawlSpider

10.5.2LinkExtractor

10.5.3CrawlSpider部分源代碼分析

10.5.4實(shí)例CrawlSpider

10.6本章小結(jié)

10.7習(xí)題

第11章Scrapy實(shí)戰(zhàn)項(xiàng)目

11.1文章類項(xiàng)目

11.1.1需求分析

11.1.2實(shí)現(xiàn)思路

11.1.3程序設(shè)計(jì)

11.1.4請求分析

11.1.5循環(huán)網(wǎng)址

11.1.6爬蟲運(yùn)行

11.2圖片類項(xiàng)目

11.2.1需求分析

11.2.2實(shí)現(xiàn)思路

11.2.3程序設(shè)計(jì)

11.2.4項(xiàng)目實(shí)現(xiàn)

11.3登錄類項(xiàng)目

11.3.1需求分析

11.3.2實(shí)現(xiàn)思路

11.3.3程序設(shè)計(jì)

11.3.4項(xiàng)目實(shí)現(xiàn)

11.4本章小結(jié)

11.5習(xí)題

第12章分布式爬蟲

12.1簡單分布式爬蟲

12.1.1進(jìn)程及進(jìn)程間通信

12.1.2簡單分布式爬蟲結(jié)構(gòu)

12.1.3控制節(jié)點(diǎn)

12.1.4爬蟲節(jié)點(diǎn)

12.2Scrapy與分布式爬蟲

12.2.1Scrapy中集成Redis

12.2.2MongoDB集群

12.3Scrapy分布式爬蟲實(shí)戰(zhàn)

12.3.1創(chuàng)建爬蟲

12.3.2定義Item

12.3.3爬蟲模塊

12.3.4編寫Pipeline

12.3.5修改Settings

12.3.6運(yùn)行項(xiàng)目

12.4去重優(yōu)化

12.5本章小結(jié)

12.6習(xí)題