歡迎光臨
每天分享高質量文章

Python 爬蟲入門: 爬取妹子圖

來自:智慧製造專欄(微信號:zhinengzhizao)

聽說你寫代碼沒動力?本文就給你動力,爬取妹子圖。如果這也沒動力那就沒救了。

GitHub 地址: https://github.com/injetlee/Python/blob/master/%E7%88%AC%E8%99%AB%E9%9B%86%E5%90%88/meizitu.py

爬蟲成果


當你運行代碼後,檔案夾就會越來越多,如果爬完的話會有2000多個檔案夾,20000多張圖片。不過會很耗時間,可以在最後的代碼設置爬取頁碼範圍。

本文標的


1. 熟悉 Requests 庫,Beautiful Soup 庫

2. 熟悉多執行緒爬取

3. 送福利,妹子圖

網站結構


我們從 http://meizitu.com/a/more_1.html 這個鏈接進去,界面如圖一所示

圖一:

可以看到是一組一組的套圖,點擊任何一組圖片會進入到詳情界面,如圖二所示

圖二:

可以看到圖片是依次排開的,一般會有十張左右的圖片。

實現思路


看了界面的結構,那麼我們的思路就有了。

1. 構造 url 鏈接,去請求圖一所示的套圖串列界面,拿到每一個頁面中的套圖串列。

2. 分別進入每個套圖中去,下載相應的圖片。

代碼說明


1. 下載界面的函式,利用 Requests 很方便實現。

def download_page(url):
   '''
   用於下載頁面
   '''

   essay-headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
   r = requests.get(url, essay-headers=essay-headers)
   r.encoding = 'gb2312'
   return r.text

2. 獲取圖一所示的所有套圖串列,函式中 link 表示套圖的鏈接,text表示套圖的名字

def get_pic_list(html):
   '''
   獲取每個頁面的套圖串列,之後迴圈呼叫get_pic函式獲取圖片
   '''

   soup = BeautifulSoup(html, 'html.parser')
   pic_list = soup.find_all('li', class_='wp-item')
   for i in pic_list:
       a_tag = i.find('h3', class_='tit').find('a')
       link = a_tag.get('href')  # 套圖鏈接
       text = a_tag.get_text()   # 套圖名字
       get_pic(link, text)


3. 傳入上一步中獲取到的套圖鏈接及套圖名字,獲取每組套圖裡面的圖片,並儲存,我在代碼中註釋了。

def get_pic(link, text):
   '''
   獲取當前頁面的圖片,並儲存
   '''

   html = download_page(link)  # 下載界面
   soup = BeautifulSoup(html, 'html.parser')
   pic_list = soup.find('div', id="picture").find_all('img')  # 找到界面所有圖片
   essay-headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
   create_dir('pic/{}'.format(text))
   for i in pic_list:
       pic_link = i.get('src')  # 拿到圖片的具體 url
       r = requests.get(pic_link, essay-headers=essay-headers)  # 下載圖片,之後儲存到檔案
       with open('pic/{}/{}'.format(text, link.split('/')[-1]), 'wb') as f:
           f.write(r.content)
           time.sleep(1)

完整代碼


完整代碼如下,包括了創建檔案夾,利用多執行緒爬取,我設置的是5個執行緒,可以根據自己機器自己來設置一下。

import requests
import os
import time
import threading
from bs4 import BeautifulSoup


def download_page(url):
   '''
   用於下載頁面
   '''

   essay-headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
   r = requests.get(url, essay-headers=essay-headers)
   r.encoding = 'gb2312'
   return r.text


def get_pic_list(html):
   '''
   獲取每個頁面的套圖串列,之後迴圈呼叫get_pic函式獲取圖片
   '''

   soup = BeautifulSoup(html, 'html.parser')
   pic_list = soup.find_all('li', class_='wp-item')
   for i in pic_list:
       a_tag = i.find('h3', class_='tit').find('a')
       link = a_tag.get('href')
       text = a_tag.get_text()
       get_pic(link, text)


def get_pic(link, text):
   '''
   獲取當前頁面的圖片,並儲存
   '''

   html = download_page(link)  # 下載界面
   soup = BeautifulSoup(html, 'html.parser')
   pic_list = soup.find('div', id="picture").find_all('img')  # 找到界面所有圖片
   essay-headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
   create_dir('pic/{}'.format(text))
   for i in pic_list:
       pic_link = i.get('src')  # 拿到圖片的具體 url
       r = requests.get(pic_link, essay-headers=essay-headers)  # 下載圖片,之後儲存到檔案
       with open('pic/{}/{}'.format(text, link.split('/')[-1]), 'wb') as f:
           f.write(r.content)
           time.sleep(1)   # 休息一下,不要給網站太大壓力,避免被封


def create_dir(name):
   if not os.path.exists(name):
       os.makedirs(name)


def execute(url):
   page_html = download_page(url)
   get_pic_list(page_html)


def main():
   create_dir('pic')
   queue = [i for i in range(1, 72)]   # 構造 url 鏈接 頁碼。
   threads = []
   while len(queue) > 0:
       for thread in threads:
           if not thread.is_alive():
               threads.remove(thread)
       while len(threads) < 5 and len(queue) > 0:   # 最大執行緒數設置為 5
           cur_page = queue.pop(0)
           url = 'http://meizitu.com/a/more_{}.html'.format(cur_page)
           thread = threading.Thread(target=execute, args=(url,))
           thread.setDaemon(True)
           thread.start()
           print('{}正在下載{}頁'.format(threading.current_thread().name, cur_page))
           threads.append(thread)


if __name__ == '__main__':
   main()

好了,之後運行,我們的爬蟲就會孜孜不倦的為我們下載漂亮妹子啦。


編號497,輸入編號直達本文

●輸入m獲取文章目錄

推薦↓↓↓

Web開發

更多推薦18個技術類微信公眾號

涵蓋:程式人生、演算法與資料結構、黑客技術與網絡安全、大資料技術、前端開發、Java、Python、Web開發、安卓開發、iOS開發、C/C++、.NET、Linux、資料庫、運維等。

赞(0)

分享創造快樂