想用Python爬小姐姐圖片？那你得先搞定分佈式行程

import random,time,Queue
from multiprocessing.managers import BaseManager
# 第一步：建立task_queue和result_queue，用來存放任務和結果
task_queue=Queue.Queue()
result_queue=Queue.Queue()

class Queuemanager(BaseManager):
    pass
# 第二步：把創建的兩個佇列註冊在網絡上，利用register方法，callable引數關聯了Queue物件，
# 將Queue物件在網絡中暴露
Queuemanager.register('get_task_queue',callable=lambda:task_queue)
Queuemanager.register('get_result_queue',callable=lambda:result_queue)

# 第三步：系結端口8001，設置驗證口令‘qiye’。這個相當於物件的初始化
manager=Queuemanager(address=('',8001),authkey='qiye')

# 第四步：啟動管理，監聽信息通道
manager.start()

# 第五步：通過管理實體的方法獲得通過網絡訪問的Queue物件
task=manager.get_task_queue()
result=manager.get_result_queue()

# 第六步：添加任務
for url in ["ImageUrl_"+i for i in range(10)]:
    print 'put task %s ...' %url
    task.put(url)
# 獲取傳回結果
print 'try get result...'
for i in range(10):
    print 'result is %s' %result.get(timeout=10)
# 關閉管理
manager.shutdown()

# coding:utf-8
import time
from multiprocessing.managers import BaseManager
# 創建類似的QueueManager:
class QueueManager(BaseManager):
    pass
# 第一步：使用QueueManager註冊用於獲取Queue的方法名稱
QueueManager.register('get_task_queue')
QueueManager.register('get_result_queue')
# 第二步：連接到服務器:
server_addr = '127.0.0.1'
print('Connect to server %s...' % server_addr)
# 端口和驗證口令註意保持與服務行程完全一致:
m = QueueManager(address=(server_addr, 8001), authkey='qiye')
# 從網絡連接:
m.connect()
# 第三步：獲取Queue的物件:
task = m.get_task_queue()
result = m.get_result_queue()
# 第四步：從task佇列獲取任務,並把結果寫入result佇列:
while(not task.empty()):
    image_url = task.get(True,timeout=5)
    print('run task download %s...' % image_url)
    time.sleep(1)
    result.put('%s--->success'%image_url)

# 處理結束:
print('worker exit.')

put task ImageUrl_0 ...
put task ImageUrl_1 ...
put task ImageUrl_2 ...
put task ImageUrl_3 ...
put task ImageUrl_4 ...
put task ImageUrl_5 ...
put task ImageUrl_6 ...
put task ImageUrl_7 ...
put task ImageUrl_8 ...
put task ImageUrl_9 ...
try get result...

Connect to server 127.0.0.1...
run task download ImageUrl_0...
run task download ImageUrl_1...
run task download ImageUrl_2...
run task download ImageUrl_3...
run task download ImageUrl_4...
run task download ImageUrl_5...
run task download ImageUrl_6...
run task download ImageUrl_7...
run task download ImageUrl_8...
run task download ImageUrl_9...
worker exit.

result is ImageUrl_0--->success
result is ImageUrl_1--->success
result is ImageUrl_2--->success
result is ImageUrl_3--->success
result is ImageUrl_4--->success
result is ImageUrl_5--->success
result is ImageUrl_6--->success
result is ImageUrl_7--->success
result is ImageUrl_8--->success
result is ImageUrl_9--->success

# coding:utf-8
# taskManager.py for windows
import Queue
from multiprocessing.managers import BaseManager
from multiprocessing import freeze_support
# 任務個數
task_number = 10
# 定義收發佇列
task_queue = Queue.Queue(task_number);
result_queue = Queue.Queue(task_number);
def get_task():
    return task_queue
def get_result():
    return result_queue
# 創建類似的QueueManager:
class QueueManager(BaseManager):
    pass
def win_run():
    # Windows下系結呼叫接口不能使用lambda，所以只能先定義函式再系結
    QueueManager.register('get_task_queue',callable = get_task)
    QueueManager.register('get_result_queue',callable = get_result)
    # 系結端口並設置驗證口令，Windows下需要填寫IP地址，Linux下不填預設為本地
    manager = QueueManager(address = ('127.0.0.1',8001),authkey = 'qiye')
    # 啟動
    manager.start()
    try:
        # 通過網絡獲取任務佇列和結果佇列
        task = manager.get_task_queue()
        result = manager.get_result_queue()
        # 添加任務
        for url in ["ImageUrl_"+str(i) for i in range(10)]:
            print 'put task %s ...' %url
            task.put(url)
        print 'try get result...'
        for i in range(10):
            print 'result is %s' %result.get(timeout=10)
    except:
        print('Manager error')
    finally:
        # 一定要關閉，否則會報管道未關閉的錯誤
        manager.shutdown()

if __name__ == '__main__':
    # Windows下多行程可能會有問題，添加這句可以緩解
    freeze_support()
    win_run()