本書從實戰(zhàn)角度系統(tǒng)講解 Python爬蟲的核心知識點，并通過大量的真實項目讓讀者熟練掌握 Python爬蟲技術。本書用 20多個實戰(zhàn)案例，完美演繹了使用各種技術編寫 Python爬蟲的方式，讀者可以任意組合這些技術，完成非常復雜的爬蟲應用。
全書共 20章，分為 5篇。第 1篇基礎知識（第 1、2章），主要包括 Python運行環(huán)境的搭建、 HTTP基礎、網頁基礎（ HTML、CSS、JavaScript等）、爬蟲的基本原理、 Session與 Cookie。第 2篇網絡庫（第 3～ 6章），主要包括網絡庫 urllib、urllib3、requests和 Twisted的核心使用方法，如發(fā)送 HTTP請求、處理超時、設置 HTTP請求頭、搭建和使用代理、解析鏈接、 Robots協(xié)議等。第 3篇解析庫（第 7～ 10章），主要包括 3個常用解析庫（ lxml、Beautiful Soup和 pyquery）的使用方法，同時介紹多種用于分析 HTML代碼的技術，如正則表達式、 XPath、CSS選擇器、方法選擇器等。第 4篇數(shù)據(jù)存儲（第 11、12章），主要包括 Python中數(shù)據(jù)存儲的解決方案，如文件存儲和數(shù)據(jù)庫存儲，其中數(shù)據(jù)庫存儲包括多種數(shù)據(jù)庫，如本地數(shù)據(jù)庫 SQLite、網絡數(shù)據(jù)庫 MySQL以及文檔數(shù)據(jù)庫 MongoDB。第 5篇爬蟲高級應用（第 13～ 20章），主要包括 Python爬蟲的一些高級技術，如抓取異步數(shù)據(jù)、 Selenium、Splash、抓取移動 App數(shù)據(jù)、 Appium、多線程爬蟲、爬蟲框架 Scrapy，最后給出一個綜合的實戰(zhàn)案例，綜合了 Python爬蟲、數(shù)據(jù)存儲、 PyQt5、多線程、數(shù)據(jù)可視化、Web等多種技術實現(xiàn)一個可視化爬蟲。
本書可以作為廣大計算機軟件技術開發(fā)者、互聯(lián)網技術研究人員學習“爬蟲技術”的參考用書。也可以作為高等院校計算機科學與技術、軟件工程、人工智能等專業(yè)的教學參考用書。