歡迎光臨
每天分享高質量文章

運行這段代碼後,20000多張妹子圖會默默躺在你的硬碟里

導讀:聽說你寫Python代碼沒動力?本文就給你動力,爬取妹子圖。如果這也沒動力那就沒救了。

作者:李英傑同學

來源:智慧製造專欄(ID:zhinengzhizao)

▲封面圖來自妹子圖(meizitu.com)

GitHub 地址: 

https://github.com/injetlee/Python/blob/master/%E7%88%AC%E8%99%AB%E9%9B%86%E5%90%88/meizitu.py

01 爬蟲成果

當你運行代碼後,檔案夾就會越來越多,如果爬完的話會有2000多個檔案夾,20000多張圖片。不過會很耗時間,可以在最後的代碼設置爬取頁碼範圍。

02 本文標的

  1. 熟悉 Requests 庫,Beautiful Soup 庫

  2. 熟悉多執行緒爬取

  3. 送福利,妹子圖

03 網站結構

我們從 http://meizitu.com/a/more_1.html 這個鏈接進去,界面如下圖所示:

▲圖片來自妹子圖(meizitu.com)

可以看到是一組一組的套圖,點擊任何一組圖片會進入到詳情界面,如下圖所示:

▲以上3張圖片來自妹子圖(meizitu.com)

可以看到圖片是依次排開的,一般會有十張左右的圖片。

04 實現思路

看了界面的結構,那麼我們的思路就有了。

  1. 構造 url 鏈接,去請求圖一所示的套圖串列界面,拿到每一個頁面中的套圖串列。

  2. 分別進入每個套圖中去,下載相應的圖片。

05 代碼說明

1. 下載界面的函式,利用 Requests 很方便實現。

def download_page(url):
   '''
   用於下載頁面
   '''

   essay-headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    r = requests.get(url, essay-headers=essay-headers)
   r.encoding = 'gb2312'
   return r.text

2. 獲取圖一所示的所有套圖串列,函式中 link 表示套圖的鏈接,text表示套圖的名字。

def get_pic_list(html):
   '''
   獲取每個頁面的套圖串列,之後迴圈呼叫get_pic函式獲取圖片
   '''

   soup = BeautifulSoup(html, 'html.parser')
   pic_list = soup.find_all('li', class_='wp-item')
   for i in pic_list:
       a_tag = i.find('h3', class_='tit').find('a')
       link = a_tag.get('href')  # 套圖鏈接
       text = a_tag.get_text()   # 套圖名字
       get_pic(link, text)

3. 傳入上一步中獲取到的套圖鏈接及套圖名字,獲取每組套圖裡面的圖片,並儲存,我在代碼中註釋了。

def get_pic(link, text):
   '''
   獲取當前頁面的圖片,並儲存
   '''

   html = download_page(link)  # 下載界面
   soup = BeautifulSoup(html, 'html.parser')
   pic_list = soup.find('div', id="picture").find_all('img')  # 找到界面所有圖片
    essay-headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    create_dir('pic/{}'.format(text))
   for i in pic_list:
       pic_link = i.get('src')  # 拿到圖片的具體 url
       r = requests.get(pic_link, essay-headers=essay-headers)  # 下載圖片,之後儲存到檔案
        with open('pic/{}/{}'.format(text, link.split('/')[-1]), 'wb') as f:
           f.write(r.content)
           time.sleep(1)

06 完整代碼

完整代碼如下,包括了創建檔案夾,利用多執行緒爬取,我設置的是5個執行緒,可以根據自己機器自己來設置一下。

import requests
import os
import time
import threading
from bs4 import BeautifulSoup


def download_page(url):
   '''
   用於下載頁面
   '''

   essay-headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    r = requests.get(url, essay-headers=essay-headers)
   r.encoding = 'gb2312'
   return r.text


def get_pic_list(html):
   '''
   獲取每個頁面的套圖串列,之後迴圈呼叫get_pic函式獲取圖片
   '''

   soup = BeautifulSoup(html, 'html.parser')
   pic_list = soup.find_all('li', class_='wp-item')
   for i in pic_list:
       a_tag = i.find('h3', class_='tit').find('a')
       link = a_tag.get('href')
       text = a_tag.get_text()
       get_pic(link, text)


def get_pic(link, text):
   '''
   獲取當前頁面的圖片,並儲存
   '''

   html = download_page(link)  # 下載界面
   soup = BeautifulSoup(html, 'html.parser')
   pic_list = soup.find('div', id="picture").find_all('img')  # 找到界面所有圖片
    essay-headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    create_dir('pic/{}'.format(text))
   for i in pic_list:
       pic_link = i.get('src')  # 拿到圖片的具體 url
       r = requests.get(pic_link, essay-headers=essay-headers)  # 下載圖片,之後儲存到檔案
        with open('pic/{}/{}'.format(text, link.split('/')[-1]), 'wb') as f:
           f.write(r.content)
           time.sleep(1)   # 休息一下,不要給網站太大壓力,避免被封


def create_dir(name):
   if not os.path.exists(name):
       os.makedirs(name)


def execute(url):
   page_html = download_page(url)
   get_pic_list(page_html)


def main():
   create_dir('pic')
   queue = [i for i in range(1, 72)]   # 構造 url 鏈接 頁碼。
   threads = []
   while len(queue) > 0:
       for thread in threads:
           if not thread.is_alive():
               threads.remove(thread)
       while len(threads) < 5 and len(queue) > 0:   # 最大執行緒數設置為 5
           cur_page = queue.pop(0)
           url = 'http://meizitu.com/a/more_{}.html'.format(cur_page)
           thread = threading.Thread(target=execute, args=(url,))
           thread.setDaemon(True)
           thread.start()
           print('{}正在下載{}頁'.format(threading.current_thread().name, cur_page))
            threads.append(thread)


if __name__ == '__main__':
   main()

好了,之後運行,我們的爬蟲就會孜孜不倦的為我們下載漂亮妹子啦。

註:本文僅供技術學習和交流,如需瀏覽、下載圖片,請訪問網站原地址(meizitu.com)。請支持正版、尊重他人勞動成果。

猜你想看

Q: 現在你寫代碼有動力了嗎

歡迎留言與大家分享

覺得不錯,請把這篇文章分享給你的朋友

轉載 / 投稿請聯繫:[email protected]

更多精彩,請在後臺點擊“歷史文章”查看

赞(0)

分享創造快樂