爬蟲的核心流程

1.明確目標(biāo)

收集汽車相關(guān)信息

汽車成交量

汽車的評(píng)論信息

汽車提車分享信息

2.搜尋哪些網(wǎng)站或者App中有我們要的資源

汽車之家

懂車帝

易車

3.分析數(shù)據(jù)所在位置，加載方式

·直接加載的

·還是額外的網(wǎng)絡(luò)請(qǐng)求

4.數(shù)據(jù)獲取

·使用代碼驅(qū)動(dòng)既有的App或?yàn)g覽器

·自己分析請(qǐng)求，構(gòu)造請(qǐng)求

5.數(shù)據(jù)提取

·從返回的內(nèi)容中將自己的那一部分提取出來(lái)

6.數(shù)據(jù)存儲(chǔ)

7.提升性能

工具介紹

1.Anaconda

從官網(wǎng)下載--安裝-不需要更改--默認(rèn)路徑--next

2.Chrome瀏覽器

安裝的時(shí)候就不允許你修改安裝路徑 不建議修改安裝位置

3.打開開發(fā)工具

·Anaconda中選擇Anacinda prompt

·之后在終端輸入jupyter notebook

（中間有一個(gè)空格 輸入回車）

系統(tǒng)會(huì)自動(dòng)打開一個(gè)網(wǎng)頁(yè)，這個(gè)網(wǎng)頁(yè)就是C：/Users/Rock下的資源

這個(gè)工具就是我們學(xué)習(xí)Python學(xué)習(xí)爬蟲的最牛的工具，沒有之一

4.如何快速掌握開發(fā)工具

·打開Anacodeda

打開notework

自己創(chuàng)建，刪除文件夾，文件等

·熟悉模式

筆記模式：markdown模式

代碼模式

·熟悉快捷鍵

查看所有的快捷鍵

h

·執(zhí)行代碼

alt + enter

shift + enter

control + enter

區(qū)別在于執(zhí)行完代碼，光標(biāo)的位置