知識星球
所以，本文將講解如何爬取知乎這兩個問題的回答中的圖片，並透過百度人臉識別api進行顏值打分，選取出知乎最美小姐姐。
作者 / 來源：羅羅攀（ID：luoluopan1）
整個專案流程如下圖所示：
01 網頁分析
首先，我們開啟一個話題，透過F12檢視，可以看到是一個非同步載入的網頁，我們需要對其進行找包，如圖，這個包就是我們所需要的。
接著，我們分析下這個url，可以發現，除了offset用於分頁，questions後面的數字為不同問題的ID。之外，其他url的引數都是固定的，所以我們只需要構造這個url，不斷迴圈請求就好了。
https://www.zhihu.com/api/v4/questions/29024583/answers?include=data%5B%2A%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%2Cis_labeled%3Bdata%5B%2A%5D.mark_infos%5B%2A%5D.url%3Bdata%5B%2A%5D.author.follower_count%2Cbadge%5B%2A%5D.topics&limit;=3&offset;=3&platform;=desktop&sort;_by=default
傳回的資料為json資料，我們這裡只是需要圖片，所以只提取使用者暱稱和內容（暱稱用於圖片取名，內容中有圖片資訊）。
圖片資訊存在content欄位中，我們透過正則運算式來進行提取。
02 爬蟲程式碼
根據上面的思路，我們編寫爬蟲程式碼：
import requests
from lxml import etree
import json
import time
import re
essay-headers = {
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
'cookie':''
}
def get_img(url):
res = requests.get(url,essay-headers=essay-headers)
i = 1
json_data = json.loads(res.text)
datas = json_data['data']
for data in datas:
id = data['author']['name']
content = data['content']
imgs = re.findall('img src="(.*?)"',content,re.S)
if len(imgs) == 0:
pass
else:
for img in imgs:
if 'jpg' in img:
res_1 = requests.get(img,essay-headers=essay-headers)
fp = open('row_img/' + id + '+' + str(i) + '.jpg','wb')
fp.write(res_1.content)
i = i + 1
print(id,img)
if __name__ == '__main__':
urls = ['https://www.zhihu.com/api/v4/questions/29024583/answers?include=data%5B%2A%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%2Cis_labeled%3Bdata%5B%2A%5D.mark_infos%5B%2A%5D.url%3Bdata%5B%2A%5D.author.follower_count%2Cbadge%5B%2A%5D.topics&limit;=5&offset;={}&platform;=desktop&sort;_by=default'.format(str(i)) for i in range(0,25000,5)]
for url in urls:
get_img(url)
time.sleep(2)
這裡cookie需要換成自己的，我們圖片的命名為使用者暱稱+數字（由於一個回答可能有多個圖片），結果如圖，這樣，就解鎖了一份小姐姐圖片。
03 人臉識別API
由於爬取了圖片，有一些是沒人像，有些是男的…而且是為了找到高顏值小姐姐，如果人工篩選費事費力，這裡呼叫百度的人臉識別API，進行圖片過濾和顏值打分，選出知乎最美小姐姐。
首先，開啟網址：
http://ai.baidu.com/tech/face
登陸後立即使用，我們首先建立一個人臉識別的應用。api的使用說簡單很簡單（看檔案就好了），說難也很難（大家的閱讀能力在慢慢下降）。首先，我們看著檔案一步步來：
https://ai.baidu.com/docs#/Face-Detect-V3/top
接著我們透過API Key和Secret Key獲取token：
import requests
ak = ''
sk = ''
host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client;_id={}&client;_secret={}'.format(ak,sk)
res = requests.post(host)
print(res.text)
我們拿著token，來請求對應的網頁就可以獲取圖片的內容了。我們拿張超越妹妹的圖片做例子~
import base64
import json
token = ''
def get_img_base(file):
with open(file,'rb') as fp:
content = base64.b64encode(fp.read())
return content
request_url = "https://aip.baidubce.com/rest/2.0/face/v3/detect"
request_url = request_url + "?access_token=" + token
params = {
'image':get_img_base('test.jpg'),
'image_type':'BASE64',
'face_field':'age,beauty,gender'
}
res = requests.post(request_url,data=params)
result = res.text
json_result = json.loads(result)
code = json_result['error_code']
gender = json_result['result']['face_list'][0]['gender']['type']
beauty = json_result['result']['face_list'][0]['beauty']
print(code,gender,beauty)
### result 0 female 76.25
這裡的token為前面請求得到的，params的引數中，圖片需要base64編碼~超越妹妹76.25，還算給力。
04 綜合使用
最後，我們逐一請求我們儲存的圖片，過濾掉非人物以及男性圖片，獲取小姐姐圖片的分數（這裡處理為1-10分），並分別存在不同的檔案夾中。
import requests
import os
import base64
import json
import time
def get_img_base(file):
with open(file,'rb') as fp:
content = base64.b64encode(fp.read())
return content
file_path = 'row_img'
list_paths = os.listdir(file_path)
for list_path in list_paths:
img_path = file_path + '/' + list_path
# print(img_path)
token = '24.a2d7a4d09435e716cf1cb163f176cb12.2592000.1553929524.282335-15648650'
request_url = "https://aip.baidubce.com/rest/2.0/face/v3/detect"
request_url = request_url + "?access_token=" + token
params = {
'image':get_img_base(img_path),
'image_type':'BASE64',
'face_field':'age,beauty,gender'
}
res = requests.post(request_url,data=params)
json_result = json.loads(res.text)
code = json_result['error_code']
if code == 222202:
continue
try:
gender = json_result['result']['face_list'][0]['gender']['type']
if gender == 'male':
continue
beauty = json_result['result']['face_list'][0]['beauty']
new_beauty = round(beauty/10,1)
print(img_path,new_beauty)
if new_beauty >= 8:
os.rename(os.path.join(file_path,list_path),os.path.join('8分',str(new_beauty) + '+' + list_path))
elif new_beauty >= 7:
os.rename(os.path.join(file_path,list_path),os.path.join('7分',str(new_beauty) + '+' + list_path))
elif new_beauty >= 6:
os.rename(os.path.join(file_path,list_path),os.path.join('6分',str(new_beauty) + '+' + list_path))
elif new_beauty >= 5:
os.rename(os.path.join(file_path,list_path),os.path.join('5分',str(new_beauty) + '+' + list_path))
else:
os.rename(os.path.join(file_path,list_path),os.path.join('其他分',str(new_beauty) + '+' + list_path))
time.sleep(1)
except KeyError:
pass
except TypeError:
pass
程式碼下載：公眾號後臺回覆知乎小姐姐，下載完整程式碼。
關於作者：羅攀，知名論壇Python爬蟲專題管理員。擅長Python爬蟲技術，並對Python資料分析與挖掘也有研究。曾經在CSDN等多個知名部落格網站發表多篇技術文章，深受讀者的喜愛。目前從事線上Python網路爬蟲的培訓工作。
延伸閱讀《從零開始學Python資料分析》
推薦語：圖解教學，400分鐘影片,一週輕鬆入門Python資料分析。詳解NumPy, pandas, matplotlib庫3大模組，9個案例；詳解資料讀取，清洗，處理及視覺化。
噹噹書香節期間大資料粉絲專屬200減30優惠碼：USCATV
使用說明：
- 優惠碼噹噹自營圖書均可使用（結算介面勾選優惠碼，實際支付金額超過200元即可使用。）
- 本活動折封與優惠碼均不支援團購，同一賬號、同一地址、同一手機號、同一IP反覆購買本活動商品，噹噹有權取消訂單，終結交易。
特別提示：
優惠碼限4月16日0:00-4月25日23:59使用，以提交訂單順序為準，數量有限，先用先得
朋友會在“發現-看一看”看到你“在看”的內容