知識星球
資料是創造和決策的原材料，高質量的資料都價值不菲。而利用爬蟲，我們可以獲取大量的價值資料，經分析可以發揮巨大的價值，比如：
豆瓣、知乎：爬取優質答案，篩選出各話題下熱門內容，探索使用者的輿論導向。
淘寶、京東：抓取商品、評論及銷量資料，對各種商品及使用者的消費場景進行分析。
搜房、鏈家：抓取房產買賣及租售資訊，分析房價變化趨勢、做不同區域的房價分析。
拉勾、智聯：爬取各類職位資訊，分析各行業人才需求情況及薪資水平。
雪球網：抓取雪球高回報使用者的行為，對股票市場進行分析和預測。
公開的資料源往往量小且時效性差，爬蟲則可以獲取最為即時且規模龐大的網際網路資料，這對於做市場分析、競品調研、使用者分析、商業決策顯然是一個非常有效的方式。
對於小白來說，爬蟲可能是一件非常複雜、技術門檻很高的事情。比如有的人則認為先要掌握網頁的知識，遂開始 HTML\CSS，結果入了前端的坑，瘁……
但掌握正確的方法，在短時間內做到能夠爬取主流網站的資料，其實非常容易實現，但建議你從一開始就要有一個具體的標的。
在標的的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成標的的過程中學到的。這裡給你一條平滑的、零基礎快速入門的學習路徑。
– ❶ –
學習 Python 包並實現基本的爬蟲過程
大部分爬蟲都是按“傳送請求——獲得頁面——解析頁面——抽取並儲存內容”這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁資訊的過程。
Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連線網站，傳回網頁，Xpath 用於解析網頁，便於抽取資料。
如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素程式碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態網站根本不在話下，豆瓣、糗事百科、騰訊新聞等基本上都可以上手了。
– ❷ –
掌握各種技巧，應對特殊網站的反爬措施
當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。
遇到這些反爬蟲的手段，當然還需要一些高階的技巧來應對，常規的比如訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。
往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了。
– ❸ –
學習 scrapy，搭建工程化的爬蟲
掌握前面的技術一般量級的資料和程式碼基本沒有問題了，但是在遇到非常複雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。
scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的效能，讓你可以將爬蟲工程化、模組化。
學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。
– ❹ –
學習資料庫基礎，應對大規模資料儲存
爬回來的資料量小的時候，你可以用檔案的形式來儲存，一旦資料量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 MongoDB 就OK。
MongoDB 可以方便你去儲存一些非結構化的資料，比如各種評論的文字，圖片的連結等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。
因為這裡要用到的資料庫知識其實非常簡單，主要是資料如何入庫、如何進行提取，在需要的時候再學習就行。
– ❺ –
分散式爬蟲，實現大規模併發採集
爬取基本資料已經不是問題了，你的瓶頸會集中到爬取海量資料的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分散式爬蟲。
分散式這個東西，聽起來很恐怖，但其實就是利用多執行緒的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。
Scrapy 前面我們說過了，用於做基本的頁面爬取，MongoDB 用於儲存爬取的資料，Redis 則用來儲存要爬取的網頁佇列，也就是任務佇列。
所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分散式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架構了，實現一些更加自動化的資料獲取。
你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，儘量不要系統地去啃一些東西，找一個實際的專案（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好。
我們推出了一套非常系統的Python+爬蟲課程，除了為你提供一條清晰的學習路徑，我們甄選了最實用的學習資源以及龐大的主流爬蟲案例庫。短時間的學習，你就能夠很好地掌握Python和爬蟲，獲取你想得到的資料，同時具備資料分析、機器學習的程式設計基礎。
《Python爬蟲：入門+進階》和《Python程式設計零基礎入門》均為系統的實戰課程，分別給出了最佳化的學習路徑，讓你不僅可以掌握爬蟲、資料分析、機器學習等所需的Python基礎，同時掌握獲取大規模資料的爬蟲技巧。
如果你希望在短時間內學會Python和爬蟲，少走彎路
掃描下方二維碼加入課程
套課限額優惠 ¥439（原價¥798），限前100名
– 高效的學習路徑 –
一上來就講理論、語法、程式語言是非常不合理的，我們會直接從具體的案例入手，透過實際的操作，學習具體的知識點。我們為你規劃了一條系統的學習路徑，讓你不再面對零散的知識點。
卡片裡面大綱內容可以滑動
– 每課都有學習資料 –
你可能收集了以G計的的學習資源，但儲存後從來沒開啟過？我們已經幫你找到了最有用的那部分，並且用最簡單的形式描述出來，幫助你學習，你可以把更多的時間用於練習和實踐。
考慮到各種各樣的問題，我們在每一節都準備了課後資料，包含四個部分：
1.課程重點筆記，詳細闡述重點知識，幫助你理解和後續快速複習；
2.預設你是小白，補充所有基礎知識，哪怕是軟體的安裝與基本操作；
3.課內外案例提供參考程式碼學習，讓你輕鬆應對主流網站爬蟲；
4.超多延伸知識點和更多問題的解決思路，讓你有能力去解決實際中遇到的一些特殊問題。
某節部分課後資料
– 超多實戰專案，深化程式設計技巧 –
爬蟲課程中提供了目前最常見的網站爬蟲案例：豆瓣、百度、知乎、淘寶、京東、微博……每個案例在課程影片中都有詳細分析，老師帶你完成每一步操作。
同時在Python程式設計課中，除了基本的Python語法，還有其他教程容易忽略的Map/Reduce、錯誤型別、正則運算式、記憶體管理等知識。同時還準備了記賬本、文字識別、旅行青蛙、貪吃蛇、桌布下載器等多個實戰專案。
– 技能拓展：反爬蟲及資料儲存、處理 –
懂得基本的爬蟲是遠遠不夠的，所以我們會用實際的案例，帶你瞭解一些網站的反爬蟲措施，並且用具體的技術繞過限制。比如非同步載入、IP限制、essay-headers限制、驗證碼等等，這些比較常見的反爬蟲手段，你都可以很好地規避。
工程化的爬蟲、及分散式爬蟲技術，讓你有獲取大規模資料的可能。除了爬蟲的內容，你還將瞭解資料庫（Mongodb）、pandas 的基本知識，幫你儲存爬取的資料，同時可以對資料進行管理和清洗，你可以獲得更乾凈的資料，以便後續的分析和處理。
爬取拉勾招聘資料並用 MongoDB 儲存
除了經驗豐富、帶你一步步實操的授課老師之外，助教老師也會在學習群裡及時解答你遇到的每一個問題。同時，你還可以跟一群未來優秀的工程師，分享經驗、程式碼、資料，探討爬蟲和資料分析技術。
【課程資訊】
「 課程名稱 」
《Python 爬蟲：入門+進階》
《Python程式設計零基礎入門》
「 上課形式 」
錄播課程，可隨時開始上課，反覆觀看
「 面向人群 」
零基礎的小白，負基礎的小白白
「 答疑形式 」
學習群老師隨時答疑
「 課程資料 」
重點筆記、操作詳解、參考程式碼、課後拓展
公眾號專屬優惠，套課限額底價
¥439（原價¥798），限前100名
長按下方二維碼，立即去搶
購買後會收到「 DC學院 」傳送的簡訊，用上課碼即可在官網學習這兩門課
課程諮詢、資料獲取、免費試看請加入下方群聊
若群滿，加Alice微信：datacastle2017
點選下方“閱讀原文”也可以加入課程
