歡迎光臨
每天分享高質量文章

Python爬蟲|你真的會寫爬蟲嗎?

1
寫在前面的話           
       咱們直接進入今天的主題—你真的會寫爬蟲嗎?為啥標題是這樣,因為我們日常寫小爬蟲都是一個py檔案加上幾個請求,但是如果你去寫一個正式的專案時,你必須考慮到很多種情況,所以我們需要把這些功能全部模塊化,這樣也使我們的爬蟲更加的健全。

 

2
基礎爬蟲的架構以及運行流程           

首先,給大家來講講基礎爬蟲的架構到底是啥樣子的?JAP君給大家畫了張粗糙的圖:

從圖上可以看到,整個基礎爬蟲架構分為5大類:爬蟲調度器、URL管理器、HTML下載器、HTML解析器、資料儲存器。

下麵給大家依次來介紹一下這5個大類的功能:

  • 爬蟲調度器,主要是配合呼叫其他四個模塊,所謂調度就是取呼叫其他的模板

  • URL管理器,就是負責管理URL鏈接的,URL鏈接分為已經爬取的和未爬取的,這就需要URL管理器來管理它們,同時它也為獲取新URL鏈接提供接口。

  • HTML下載器,就是將要爬取的頁面的HTML下載下來

  • HTML解析器,就是將要爬取的資料從HTML原始碼中獲取出來,同時也將新的URL鏈接發送給URL管理器以及將處理後的資料發送給資料儲存器。

  • 資料儲存器,就是將HTML下載器發送過來的資料儲存到本地

 

 

3
實戰爬取菜鳥筆記信息       

差不多就介紹這麼些東西,相信大家對整體的架構有了初步的認識,下麵我簡單找了個網站給大家演示一遍用爬蟲架構來爬取信息:

(標的站點)

 

我們來獲取上面串列中的信息,這裡我就省略了分析網站的一步,如果大家不會分析,可以去看我之前寫的爬蟲專案。

 

首先,我們來寫一下URL管理器(URLManage.py)

class URLManager(object):    def __init__(self):        self.new_urls = set()        self.old_urls = set()
    def has_new_url(self):        # 判斷是否有未爬取的url        return self.new_url_size()!=0
    def get_new_url(self):        # 獲取一個未爬取的鏈接        new_url = self.new_urls.pop()        # 提取之後,將其添加到已爬取的鏈接中        self.old_urls.add(new_url)        return new_url
    def add_new_url(self, url):        # 將新鏈接添加到未爬取的集合中(單個鏈接)        if url is None:            return        if url not in self.new_urls and url not in self.old_urls:            self.new_urls.add(url)
    def add_new_urls(self,urls):        # 將新鏈接添加到未爬取的集合中(集合)        if urls is None or len(urls)==0:            return        for url in urls:            self.add_new_url(url)
    def new_url_size(self):        # 獲取未爬取的url大小        return len(self.new_urls)
    def old_url_size(self):        # 獲取已爬取的url大小        return len(self.old_urls)

在這裡主要就是兩個集合,一個是已爬取URL的集合,另一個是未爬取URL的集合。這裡我使用的是set型別,因為set自帶去重的功能。

 

接下來,HTML下載器(HTMLDownload.py)

import requestsclass HTMLDownload(object):    def download(self, url):        if url is None:            return        s = requests.Session()        s.essay-headers['User-Agent'] ='Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 63.0.3239.132Safari / 537.36'        res = s.get(url)        # 判斷是否正常獲取        if res.status_code == 200:            res.encoding='utf-8'            res = res.text            return res        return None

可以看到這裡我們只是簡單的獲取了,url中的html原始碼

 

接著看HTML解析器(HTMLParser.py)

import refrom bs4 import BeautifulSoupclass HTMLParser(object):
    def parser(self, page_url, html_cont):        '''        用於解析網頁內容,抽取URL和資料        :param page_url: 下載頁面的URL        :param html_cont: 下載的網頁內容        :return: 傳回URL和資料        '''        if page_url is None or html_cont is None:            return        soup = BeautifulSoup(html_cont, 'html.parser')        new_urls = self._get_new_urls(page_url, soup)        new_data = self._get_new_data(page_url, soup)        return new_urls, new_data
    def _get_new_urls(self,page_url,soup):        '''        抽取新的URL集合        :param page_url:下載頁面的URL        :param soup: soup資料        :return: 傳回新的URL集合        '''        new_urls = set()        for link in range(1,100):            # 添加新的url            new_url = "http://www.runoob.com/w3cnote/page/"+str(link)            new_urls.add(new_url)            print(new_urls)        return new_urls
    def _get_new_data(self,page_url,soup):         '''         抽取有效資料         :param page_url:下載頁面的url         :param soup:         :return: 傳回有效資料         '''         data={}         data['url'] = page_url         title = soup.find('div', class_='post-intro').find('h2')         print(title)         data['title'] = title.get_text()         summary = soup.find('div', class_='post-intro').find('p')         data['summary'] = summary.get_text()         return data

在這裡,我們將HTML下載器的原始碼進行了分析和解析,從而得到了我們想要拿到的資料,如果BeautifulSoup不懂的可以去看一下我之前寫的文章。

 

繼續看,資料儲存器(DataOutput.py)

import codecsclass DataOutput(object):
    def __init__(self):        self.datas = []
    def store_data(self,data):        if data is None:            return        self.datas.append(data)
    def output_html(self):        fout = codecs.open('baike.html', 'a', encoding='utf-8')        fout.write("")        fout.write("")        fout.write("")        fout.write("

 

)        for data in self.datas:            fout.write(""

 

)            fout.write("%s

“%data[‘url’])

            fout.write("《%s》

” % data[‘title’])

            fout.write("[%s]

” % data[‘summary’])

            fout.write("

“) self.datas.remove(data) fout.write("“) fout.write("“) fout.write("“) fout.close()

大家可能發現我這裡是將資料儲存到一個html的檔案當中,在這裡你當然也可以存在Mysql或者csv等檔案當中,這個看自己的選擇,我這裡只是為了演示所以就放在了html當中。

 

最後一個,爬蟲調度器(SpiderMan.py)

from base.DataOutput import DataOutputfrom base.HTMLParser import HTMLParserfrom base.HTMLDownload import HTMLDownloadfrom base.URLManager import URLManager
class SpiderMan(object):    def __init__(self):        self.manager = URLManager()        self.downloader = HTMLDownload()        self.parser = HTMLParser()        self.output = DataOutput()

    def crawl(self, root_url):        # 添加入口URL        self.manager.add_new_url(root_url)        # 判斷url管理器中是否有新的url,同時判斷抓取多少個url        while(self.manager.has_new_url() and self.manager.old_url_size()<100):            try:                # 從URL管理器獲取新的URL                new_url = self.manager.get_new_url()                print(new_url)                # HTML下載器下載網頁                html = self.downloader.download(new_url)                # HTML解析器抽取網頁資料                new_urls, data = self.parser.parser(new_url, html)                print(new_urls)                # 將抽取的url添加到URL管理器中                self.manager.add_new_urls(new_urls)                # 資料儲存器儲存檔案                self.output.store_data(data)                print("已經抓取%s個鏈接" % self.manager.old_url_size())            except Exception as e:                print("failed")                print(e)            # 資料儲存器將檔案輸出成指定的格式            self.output.output_html()

if __name__ == '__main__':    spider_man = SpiderMan()    spider_man.crawl("http://www.runoob.com/w3cnote/page/1")

相信這裡大家都能看懂,我就是將前面我們寫的四個模板在這裡把它們呼叫了一下,我們運行後的結果:

 

4
總結           

     我們這裡簡單的講解了一下,爬蟲架構的五個模板,無論是大型爬蟲專案還是小型的爬蟲專案都離不開這五個模板,希望大家能夠照著這些代碼寫一遍,這樣有利於大家的理解,大家以後寫爬蟲專案也要按照這種架構去寫,這樣你的爬蟲看起來就會更加的規範、健全。

    已同步到看一看
    赞(0)

    分享創造快樂