本書的基本框架分為八個項目，項目一、初識爬蟲，包括認識爬蟲，以及網(wǎng)站robots協(xié)議和反爬蟲技術(shù)三個學習任務；項目二、網(wǎng)頁基礎(chǔ)，包括HTTP原理、網(wǎng)頁基礎(chǔ)知識、會話和COOKIE機制、谷歌瀏覽器開發(fā)者工具的使用等四個學習任務；項目三、Python基礎(chǔ)，包括搭建python開發(fā)環(huán)境、python基礎(chǔ)語法等六個任務。項目四、常用爬取庫，包括認識HTTP請求、urllib網(wǎng)絡(luò)請求庫基礎(chǔ)、初識requests網(wǎng)絡(luò)請求庫三個學習任務；項目五、常用解析庫，包括網(wǎng)頁解析基礎(chǔ)、XPath解析網(wǎng)頁、BS解析網(wǎng)頁、PyQuery解析庫四個學習任務。項目六、數(shù)據(jù)存儲，包括數(shù)據(jù)存儲在文本文件、實戰(zhàn)案例篇；關(guān)系型數(shù)據(jù)庫介紹、Mysq數(shù)據(jù)庫的安裝與啟九個學習任務；項目七、動態(tài)網(wǎng)頁數(shù)據(jù)爬取，包括動態(tài)網(wǎng)頁的含義、Selenium的安裝和使用案例、AJAX的概念和AJAX的分析方法、AJAX分析與爬取實戰(zhàn)四個學習任務。高級篇：項目八Scrapy爬蟲框架，包括Scrapy安裝與使用、案例分析兩個學習任務。