歡迎光臨
每天分享高質量文章

實戰:用 Python 爬蟲攻破愛奇藝 VIP 視頻防線


一、實戰背景


愛奇藝的VIP視頻只有會員能看,普通用戶只能看前6分鐘。比如加勒比海盜5的URL:http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1



我們怎麼免費看VIP視頻呢?一個簡單的方法,就是通過旋風視頻VIP解析網站。URL:http://api.xfsub.com/

這個網站為我們提供了免費的視頻解析,它的通用解析方式是:


http://api.xfsub.com/index.php?url=[播放地址或視頻id]


比如,對於繡春刀這個電影,我們只需要在瀏覽器地址欄輸入:


http://api.xfsub.com/index.php?url=http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1


這樣,我們就可以在線觀看這些VIP視頻了:



但是這個網站只提供了在線解析視頻的功能,沒有提供下載接口,如果想把視頻下載下來,我們就可以利用網絡爬蟲進行抓包,將視頻下載下來。


二、實戰升級


分析方法相同,我們使用Fiddler進行抓包:


我們可以看到,有用的請求並不多,我們逐條分析。我們先看第一個請求傳回的信息。



可以看到第一個請求是GET請求,沒有什麼有用的信息,繼續看下一條。



我們看到,第二條GET請求地址變了,並且在傳回的信息中,我們看到,這個網頁執行了一個POST請求。POST請求是啥呢?它跟GET請求正好相反,GET是從服務器獲得資料,而POST請求是向服務器發送資料,服務器再根據POST請求的引數,傳回相應的內容。這個POST請求有四個引數,分別為time、key、url、type。記住這個有用的信息,我們在抓包結果中,找一下這個請求,看看這個POST請求做了什麼。



很顯然,這個就是我們要找的POST請求,我們可以看到POST請求的引數以及傳回的json格式的資料。其中url存放的引數如下:

xfsub_api\/url.php?key=02896e4af69fb18f7029b6046d7c718&time;=1505724557&url;=http%3A%2F%2Fwww.iqiyi.com%2Fv_19rr7qhfg0.html&type;=&xml;=1


這個信息有轉義了,但是沒有關係,我們手動提取一下,變成如下形式:

xfsub_api/url.php?key=02896e4af69fb18f70129b6046d7c718&time;=1505724557&url;=http://www.iqiyi.com/v_19rr7qhfg0.html&type=&xml;=1


我們已經知道了這個解析視頻的服務器的域名,再把域名加上:

http://api.xfsub.com/xfsub_api\url.php?key=02896e4af69fb18f70129b6046d7c718&time;=1505724557&url;=http://www.iqiyi.com/v_19rr7qhfg0.html&type=&xml;=1

這裡面存放的是什麼東西?不會視頻解析後的地址吧?我們有瀏覽器打開這個地址看一下:



果然,我們可以看到視頻地址近在眼前啊,URL如下:

http://disp.titan.mgtv.com/vod.do?fmt=4&pno;=1121&fid;=1FEA2622E0BD9A1CA625FBE9B5A238A6&file=/c1/2017/09/06_0/1FEA2622E0BD9A1CA625FBE9B5A238A6_20170906_1_1_705.mp4

我們再打開這個視頻地址:



瞧,我們就這樣得到了這個視頻在服務器上的快取地址。根據這個地址,我們就可以輕鬆下載視頻了。


PS:需要註意一點,這些URL地址,都是有一定時效性的,很快就會失效,因為裡面包含時間信息。所以,各位在分析的時候,要根據自己的URL結果打開網站才能看到視頻。


接下來,我們的任務就是編程實現我們所分析的步驟,根據不同的視頻播放地址獲得視頻存放的地址。


現在梳理一下編程思路:

  • 用正則運算式匹配到key、time、url等信息。

  • 根據匹配的到信息發POST請求,獲得一個存放視頻信息的url。

  • 根據這個url獲得視頻存放的地址。

  • 根據最終的視頻地址,下載視頻。

三、編寫代碼


編寫代碼的時候註意一個問題,就是我們需要使用requests.session()保持我們的會話請求。簡單理解就是,在初次訪問服務器的時候,服務器會給你分配一個身份證明。我們需要拿著這個身份證去繼續訪問,如果沒有這個身份證明,服務器就不會再讓你訪問。這也就是這個服務器的反爬蟲手段,會驗證用戶的身份。


作者:Jack-Cui

來源:https://github.com/Jack-Cherish/python-spider

《Python人工智慧和全棧開發》2018年07月23日即將在北京開課,120天衝擊Python年薪30萬,改變速約~~~~

*宣告:推送內容及圖片來源於網絡,部分內容會有所改動,版權歸原作者所有,如來源信息有誤或侵犯權益,請聯繫我們刪除或授權事宜。

– END –


更多Python好文請點擊【閱讀原文】哦

↓↓↓

赞(0)

分享創造快樂