如何用 Python 解析 HTML | Linux 中國

用一些簡單的指令碼，可以很容易地清理檔案和其它大量的 HTML 檔案。但是首先你需要解析它們。

— Greg Pittman

 src="images/edit_shapes.png" ALT="Edit examples" ALIGN=left>

soup = BeautifulSoup(all_text, 'html.parser')
match = soup.findAll("img")
if len(match) > 0:
    for m in match:
        imagelist.append(str(m))

 src="images/pdf-form-ht3.png"/> src="images/pdf-form-ht4.png"/> src="images/pdf-form-ht5.png"/> src="images/pdf-form-ht6.png"/> align="middle" alt="GSview - Advanced Options Panel" src="images/gsadv1.png" title="GSview - Advanced Options Panel"/> align="middle" alt="Scribus External Tools Preferences" src="images/gsadv2.png" title="Scribus External Tools Preferences"/>

match = re.findall(r'src="(.*)/>', all_text)
if len(match)>0:
    for m in match:
        imagelist.append(m)

images/cmcanvas.png" title="Context Menu for the document canvas" alt="Context Menu for the document canvas" />

title=“EPS preview in a file dialog” alt=“EPS preview in a file dialog” images/eps–imp5.png” title=”Colors imported from an EPS file” alt=”Colors imported from an EPS file” images/eps-imp4.png” title=“EPS font substitution” alt=“EPS font substitution” images/eps–imp2.png” title=”EPS import progress” alt=”EPS import progress” images/eps-imp3.png” title=“Bitmap conversion failure” alt=“Bitmap conversion failure”

乍一看，它看起來與上面的輸出類似，並且附帶有去除影象的標簽部分的好處，但是有令人費解的是還夾雜著表格標簽和其他內容。 我認為這涉及到這個正則運算式 src="(.*)/>，這被稱為貪婪，意味著它不一定停止在遇到 /> 的第一個實體。我應該補充一點，我也嘗試過 src="(.*)"，這真的沒有什麼更好的效果，我不是一個正則運算式專家（只是做了這個），找了各種方法來改進這一點但是並沒什麼用。

做了一系列的事情之後，甚至嘗試了 Perl 的 HTML::Parser 模組，最終我試圖將這與我為 Scribus 編寫的一些指令碼進行比較，這些指令碼逐個字元的分析文字內容，然後採取一些行動。 為了最終目的，我終於想出了所有這些方法，並且完全不需要正則運算式或 HTML 解析器。 讓我們回到展示的那個 img 標簽的例子。

 src="images/edit_shapes.png" ALT="Edit examples" ALIGN=left>

我決定回到 src= 這一塊。 一種方法是等待 s 出現，然後看下一個字元是否是 r，下一個是 c，下一個是否 =。 如果是這樣，那就匹配上了！ 那麼兩個雙引號之間的內容就是我所需要的。 這種方法的問題在於需要連續識別上面這樣的結構。 一種檢視代表一行 HTML 文字的字串的方法是：

for c in all_text:

但是這個邏輯太亂了，以至於不能持續匹配到前面的 c，還有之前的字元，更之前的字元，更更之前的字元。

最後，我決定專註於 = 並使用索引方法，以便我可以輕鬆地取用字串中的任何先前或將來的字元。 這裡是搜尋部分：

    index = 3
    while index < linelength:
        if (all_text[index] == '='):
            if (all_text[index-3] == 's') and (all_text[index-2] == 'r') and (all_text[index-1] == 'c'):
                imagefound(all_text, imagelist, index)
                index += 1
            else:
                index += 1
        else:
            index += 1

我用第四個字元開始搜尋（索引從 0 開始），所以我在下麵沒有出現索引錯誤，並且實際上，在每一行的第四個字元之前不會有等號。 第一個測試是看字串中是否出現了 =，如果沒有，我們就會前進。 如果我們確實看到一個等號，那麼我們會看前三個字元是否是 s、r 和 c。 如果全都匹配了，就呼叫函式 imagefound：

def imagefound(all_text, imagelist, index):
    end = 0
    index += 2
    newimage = ''
    while end == 0:
        if (all_text[index] != '"'):
            newimage = newimage + all_text[index]
            index += 1
        else:
            newimage = newimage + '\n'
            imagelist.append(newimage)
            end = 1
            return

我們給函式傳送當前索引，它代表著 =。 我們知道下一個字元將會是 "，所以我們跳過兩個字元，並開始向名為 newimage 的控制字串新增字元，直到我們發現下一個 "，此時我們完成了一次匹配。 我們將字串加一個換行符（\n）新增到串列 imagelist 中並傳回（return），請記住，在剩餘的這個 HTML 字串中可能會有更多圖片標簽，所以我們馬上回到搜尋迴圈中。

以下是我們的輸出現在的樣子：

images/text-frame-link.png
images/text-frame-unlink.png
images/gimpoptions1.png
images/gimpoptions3.png
images/gimpoptions2.png
images/fontpref3.png
images/font-subst.png
images/fontpref2.png
images/fontpref1.png
images/dtp-studio.png

啊，乾凈多了，而這隻花費幾秒鐘的時間。 我本可以將索引前移 7 步來剪下 images/ 部分，但我更願意把這個部分儲存下來，以確保我沒有剪下掉影象檔案名的第一個字母，這很容易用 KWrite 編輯成功 —— 你甚至不需要正則運算式。 做完這些並儲存檔案後，下一步就是執行我編寫的另一個指令碼 sortlist.py：

#!/usr/bin/env python
# -*- coding: utf-8  -*-
# sortlist.py
import os
imagelist = []
for line in open('/tmp/imagelist_parse4.txt').xreadlines():
    imagelist.append(line)
imagelist.sort()
outfile = open('/tmp/imagelist_parse4_sorted.txt', 'w')
outfile.writelines(imagelist)
outfile.close()

ls /home/gregp/development/Scribus15x/doc/en/images/*.png > '/tmp/actual_images.txt'

#!/usr/bin/env python
# -*- coding: utf-8  -*-
# parseimg4.py
import os
def imagefound(all_text, imagelist, index):
    end = 0
    index += 2
    newimage = ''
    while end == 0:
        if (all_text[index] != '"'):
            newimage = newimage + all_text[index]
            index += 1
        else:
            newimage = newimage + '\n'
            imagelist.append(newimage)
            end = 1
            return
htmlnames = []
imagelist = []
tempstring = ''
filenames = os.listdir('/home/gregp/development/Scribus15x/doc/en/')
for name in filenames:
    if name.endswith('.html'):
        htmlnames.append(name)
#print htmlnames
for htmlfile in htmlnames:
    all_text = open('/home/gregp/development/Scribus15x/doc/en/' + htmlfile).read()
    linelength = len(all_text)
    index = 3
    while index < linelength:
        if (all_text[index] == '='):
            if (all_text[index-3] == 's') and (all_text[index-2] == 'r') and
(all_text[index-1] == 'c'):
                imagefound(all_text, imagelist, index)
                index += 1
            else:
                index += 1
        else:
            index += 1
outfile = open('/tmp/imagelist_parse4.txt', 'w')
outfile.writelines(imagelist)
outfile.close()
imageno = len(imagelist)
print str(imageno) + " images were found and saved"