知識星球
一、實戰背景
愛奇藝的VIP影片只有會員能看，普通使用者只能看前6分鐘。比如加勒比海盜5的URL：http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1
我們怎麼免費看VIP影片呢？一個簡單的方法，就是透過旋風影片VIP解析網站。URL：http://api.xfsub.com/
這個網站為我們提供了免費的影片解析，它的通用解析方式是：
http://api.xfsub.com/index.php?url=[播放地址或影片id]
比如，對於繡春刀這個電影，我們只需要在瀏覽器位址列輸入：
http://api.xfsub.com/index.php?url=http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1
這樣，我們就可以線上觀看這些VIP影片了：
但是這個網站只提供了線上解析影片的功能，沒有提供下載介面，如果想把影片下載下來，我們就可以利用網路爬蟲進行抓包，將影片下載下來。
二、實戰升級
分析方法相同，我們使用Fiddler進行抓包：
我們可以看到，有用的請求並不多，我們逐條分析。我們先看第一個請求傳回的資訊。
可以看到第一個請求是GET請求，沒有什麼有用的資訊，繼續看下一條。
我們看到，第二條GET請求地址變了，並且在傳回的資訊中，我們看到，這個網頁執行了一個POST請求。POST請求是啥呢？它跟GET請求正好相反，GET是從伺服器獲得資料，而POST請求是向伺服器傳送資料，伺服器再根據POST請求的引數，傳回相應的內容。這個POST請求有四個引數，分別為time、key、url、type。記住這個有用的資訊，我們在抓包結果中，找一下這個請求，看看這個POST請求做了什麼。
很顯然，這個就是我們要找的POST請求，我們可以看到POST請求的引數以及傳回的json格式的資料。其中url存放的引數如下：
xfsub_api\/url.php?key=02896e4af69fb18f7029b6046d7c718&time;=1505724557&url;=http%3A%2F%2Fwww.iqiyi.com%2Fv_19rr7qhfg0.html&type;=&xml;=1
這個資訊有轉義了，但是沒有關係，我們手動提取一下，變成如下形式：
xfsub_api/url.php?key=02896e4af69fb18f70129b6046d7c718&time;=1505724557&url;=http://www.iqiyi.com/v_19rr7qhfg0.html&type=&xml;=1
我們已經知道了這個解析影片的伺服器的域名，再把域名加上：
http://api.xfsub.com/xfsub_api\url.php?key=02896e4af69fb18f70129b6046d7c718&time;=1505724557&url;=http://www.iqiyi.com/v_19rr7qhfg0.html&type=&xml;=1
這裡面存放的是什麼東西？不會影片解析後的地址吧？我們有瀏覽器開啟這個地址看一下：
果然，我們可以看到影片地址近在眼前啊，URL如下：
http://disp.titan.mgtv.com/vod.do?fmt=4&pno;=1121&fid;=1FEA2622E0BD9A1CA625FBE9B5A238A6&file=/c1/2017/09/06_0/1FEA2622E0BD9A1CA625FBE9B5A238A6_20170906_1_1_705.mp4
我們再開啟這個影片地址：
瞧，我們就這樣得到了這個影片在伺服器上的快取地址。根據這個地址，我們就可以輕鬆下載影片了。
PS：需要註意一點，這些URL地址，都是有一定時效性的，很快就會失效，因為裡麵包含時間資訊。所以，各位在分析的時候，要根據自己的URL結果開啟網站才能看到影片。
接下來，我們的任務就是程式設計實現我們所分析的步驟，根據不同的影片播放地址獲得影片存放的地址。
現在梳理一下程式設計思路：
-
用正則運算式匹配到key、time、url等資訊。
-
根據匹配的到資訊發POST請求，獲得一個存放影片資訊的url。
-
根據這個url獲得影片存放的地址。
-
根據最終的影片地址，下載影片。
三、編寫程式碼
編寫程式碼的時候註意一個問題，就是我們需要使用requests.session()保持我們的會話請求。簡單理解就是，在初次訪問伺服器的時候，伺服器會給你分配一個身份證明。我們需要拿著這個身份證去繼續訪問，如果沒有這個身份證明，伺服器就不會再讓你訪問。這也就是這個伺服器的反爬蟲手段，會驗證使用者的身份。
作者：Jack-Cui
來源：https://github.com/Jack-Cherish/python-spider
《Python人工智慧和全棧開發》2018年07月23日即將在北京開課，120天衝擊Python年薪30萬，改變速約~~~~
*宣告：推送內容及圖片來源於網路，部分內容會有所改動，版權歸原作者所有，如來源資訊有誤或侵犯權益，請聯絡我們刪除或授權事宜。
– END –
更多Python好文請點選【閱讀原文】哦
↓↓↓
