歡迎光臨
每天分享高質量文章

用Python尋找知乎最美小姐姐

導讀:最近知乎老是給我推送兩個問答,一個是「長得好看是種什麼體驗?」,另一個是「女朋友長得好看是怎樣的體驗?」。

所以,本文將講解如何爬取知乎這兩個問題的回答中的圖片,並通過百度人臉識別api進行顏值打分,選取出知乎最美小姐姐。

 

作者 / 來源:羅羅攀(ID:luoluopan1)

整個專案流程如下圖所示:

01 網頁分析

 

首先,我們打開一個話題,通過F12查看,可以看到是一個異步加載的網頁,我們需要對其進行找包,如圖,這個包就是我們所需要的。

接著,我們分析下這個url,可以發現,除了offset用於分頁,questions後面的數字為不同問題的ID。之外,其他url的引數都是固定的,所以我們只需要構造這個url,不斷迴圈請求就好了。

https://www.zhihu.com/api/v4/questions/29024583/answers?include=data%5B%2A%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%2Cis_labeled%3Bdata%5B%2A%5D.mark_infos%5B%2A%5D.url%3Bdata%5B%2A%5D.author.follower_count%2Cbadge%5B%2A%5D.topics&limit;=3&offset;=3&platform;=desktop&sort;_by=default

傳回的資料為json資料,我們這裡只是需要圖片,所以只提取用戶昵稱和內容(昵稱用於圖片取名,內容中有圖片信息)。

圖片信息存在content欄位中,我們通過正則運算式來進行提取。

02 爬蟲代碼

 

根據上面的思路,我們編寫爬蟲代碼:

import requests
from lxml import etree
import json
import time
import re

essay-headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
    'cookie':''
}

def get_img(url):
   res = requests.get(url,essay-headers=essay-headers)
   i = 1
   json_data = json.loads(res.text)
   datas = json_data['data']
    for data in datas:
       id = data['author']['name']
       content = data['content']
        imgs = re.findall('img src="(.*?)"',content,re.S)
        if len(imgs) == 0:
           pass
        else:
            for img in imgs:
                if 'jpg' in img:
                   res_1 = requests.get(img,essay-headers=essay-headers)
                   fp = open('row_img/' + id + '+' + str(i) + '.jpg','wb')
                   fp.write(res_1.content)
                   i = i + 1
                   print(id,img)

if __name__ == '__main__':
    urls = ['https://www.zhihu.com/api/v4/questions/29024583/answers?include=data%5B%2A%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%2Cis_labeled%3Bdata%5B%2A%5D.mark_infos%5B%2A%5D.url%3Bdata%5B%2A%5D.author.follower_count%2Cbadge%5B%2A%5D.topics&limit;=5&offset;={}&platform;=desktop&sort;_by=default'.format(str(i)) for i in range(0,25000,5)]
    for url in urls:
       get_img(url)
       time.sleep(2)

這裡cookie需要換成自己的,我們圖片的命名為用戶昵稱+數字(由於一個回答可能有多個圖片),結果如圖,這樣,就解鎖了一份小姐姐圖片。

 

 

03 人臉識別API

 

由於爬取了圖片,有一些是沒人像,有些是男的…而且是為了找到高顏值小姐姐,如果人工篩選費事費力,這裡呼叫百度的人臉識別API,進行圖片過濾和顏值打分,選出知乎最美小姐姐。

首先,打開網址:

 

http://ai.baidu.com/tech/face

登陸後立即使用,我們首先創建一個人臉識別的應用。api的使用說簡單很簡單(看文件就好了),說難也很難(大家的閱讀能力在慢慢下降)。首先,我們看著文件一步步來

https://ai.baidu.com/docs#/Face-Detect-V3/top

接著我們通過API Key和Secret Key獲取token:

import requests

ak = ''
sk = ''

host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client;_id={}&client;_secret={}'.format(ak,sk)

res = requests.post(host)
print(res.text)

我們拿著token,來請求對應的網頁就可以獲取圖片的內容了。我們拿張超越妹妹的圖片做例子~

import base64
import json

token = ''

def get_img_base(file):
    with open(file,'rb'as fp:
       content = base64.b64encode(fp.read())
       return content

request_url = "https://aip.baidubce.com/rest/2.0/face/v3/detect"
request_url = request_url + "?access_token=" + token

params = {
    'image':get_img_base('test.jpg'),
    'image_type':'BASE64',
    'face_field':'age,beauty,gender'
}

res = requests.post(request_url,data=params)
result = res.text
json_result = json.loads(result)
code = json_result['error_code']
gender = json_result['result']['face_list'][0]['gender']['type']
beauty = json_result['result']['face_list'][0]['beauty']
print(code,gender,beauty)

### result 0 female 76.25

這裡的token為前面請求得到的,params的引數中,圖片需要base64編碼~超越妹妹76.25,還算給力。

04 綜合使用

 

最後,我們逐一請求我們儲存的圖片,過濾掉非人物以及男性圖片,獲取小姐姐圖片的分數(這裡處理為1-10分),並分別存在不同的檔案夾中。

import requests
import os
import base64
import json
import time

def get_img_base(file):
    with open(file,'rb'as fp:
       content = base64.b64encode(fp.read())
       return content

file_path = 'row_img'
list_paths = os.listdir(file_path)
for list_path in list_paths:
   img_path = file_path + '/' + list_path
#     print(img_path)

   token = '24.a2d7a4d09435e716cf1cb163f176cb12.2592000.1553929524.282335-15648650'

    request_url = "https://aip.baidubce.com/rest/2.0/face/v3/detect"
    request_url = request_url + "?access_token=" + token

   params = {
        'image':get_img_base(img_path),
        'image_type':'BASE64',
        'face_field':'age,beauty,gender'
   }

   res = requests.post(request_url,data=params)
   json_result = json.loads(res.text)
   code = json_result['error_code']
    if code == 222202:
       continue

    try:
       gender = json_result['result']['face_list'][0]['gender']['type']
        if gender == 'male':
           continue
       beauty = json_result['result']['face_list'][0]['beauty']
       new_beauty = round(beauty/10,1)
       print(img_path,new_beauty)
        if new_beauty >= 8:
           os.rename(os.path.join(file_path,list_path),os.path.join('8分',str(new_beauty) +  '+' + list_path))
        elif new_beauty >= 7:
           os.rename(os.path.join(file_path,list_path),os.path.join('7分',str(new_beauty) +  '+' + list_path))
        elif new_beauty >= 6:
           os.rename(os.path.join(file_path,list_path),os.path.join('6分',str(new_beauty) +  '+' + list_path))
        elif new_beauty >= 5:
           os.rename(os.path.join(file_path,list_path),os.path.join('5分',str(new_beauty) +  '+' + list_path))
        else:
           os.rename(os.path.join(file_path,list_path),os.path.join('其他分',str(new_beauty) +  '+' + list_path))
       time.sleep(1)

    except KeyError:
       pass
    except TypeError:
       pass

 

代碼下載:公眾號後臺回覆知乎小姐姐,下載完整代碼。

關於作者:羅攀,知名論壇Python爬蟲專題管理員。擅長Python爬蟲技術,並對Python資料分析與挖掘也有研究。曾經在CSDN等多個知名博客網站發表多篇技術文章,深受讀者的喜愛。目前從事線上Python網絡爬蟲的培訓工作。

延伸閱讀《從零開始學Python資料分析

推薦語:圖解教學,400分鐘視頻,一周輕鬆入門Python資料分析。詳解NumPy, pandas, matplotlib庫3大模塊,9個案例;詳解資料讀取,清洗,處理及可視化。

 

噹噹書香節期間大資料粉絲專屬200減30優惠碼:USCATV

 

使用說明:

  • 優惠碼噹噹自營圖書均可使用(結算界面勾選優惠碼,實際支付金額超過200元即可使用。
  • 本活動折封與優惠碼均不支持團購,同一賬號、同一地址、同一手機號、同一IP反覆購買本活動商品,噹噹有權取消訂單,終結交易。

 

特別提示:

優惠碼限4月16日0:00-4月25日23:59使用,以提交訂單順序為準,數量有限,先用先得

    已同步到看一看
    赞(0)

    分享創造快樂