歡迎光臨
每天分享高質量文章

使用 Python 的 urlliib.parse 庫解析 URL | Linux 中國

Python 中的 urllib.parse 模塊提供了很多解析和組建 URL 的函式。
— Darksun


致謝
轉載自 | https://github.com/lujun9972/lujun9972.github.com/blob/source/%E7%BC%96%E7%A8%8B%E4%B9%8B%E6%97%85/%E4%BD%BF%E7%94%A8urlliib.parse%E5%BA%93%E8%A7%A3%E6%9E%90url.org
 作者 | Darksun

Python 中的 urllib.parse 模塊提供了很多解析和組建 URL 的函式。

解析url

urlparse() 函式可以將 URL 解析成 ParseResult 物件。物件中包含了六個元素,分別為:

◈ 協議(scheme)
◈ 域名(netloc)
◈ 路徑(path)
◈ 路徑引數(params)
◈ 查詢引數(query)
◈ 片段(fragment)
  1. from urllib.parse import urlparse

  2. url='http://user:[email protected]:80/path;params?query=queryarg#fragment'

  3. parsed_result=urlparse(url)

  4. print('parsed_result 包含了',len(parsed_result),'個元素')

  5. print(parsed_result)

結果為:

  1. parsed_result 包含了 6 個元素

  2. ParseResult(scheme='http', netloc='user:[email protected]:80', path='/path', params='params', query='query=queryarg', fragment='fragment')

ParseResult 繼承於 namedtuple,因此可以同時通過索引和命名屬性來獲取 URL 中各部分的值。

為了方便起見, ParseResult 還提供了 username、 password、 hostname、 port 對 netloc 進一步進行拆分。

  1. print('scheme  :', parsed_result.scheme)

  2. print('netloc  :', parsed_result.netloc)

  3. print('path    :', parsed_result.path)

  4. print('params  :', parsed_result.params)

  5. print('query   :', parsed_result.query)

  6. print('fragment:', parsed_result.fragment)

  7. print('username:', parsed_result.username)

  8. print('password:', parsed_result.password)

  9. print('hostname:', parsed_result.hostname)

  10. print('port    :', parsed_result.port)

結果為:

  1. scheme  : http

  2. netloc  : user:pwd@domain:80

  3. path    : /path

  4. params  : params

  5. query   : query=queryarg

  6. fragment: fragment

  7. username: user

  8. password: pwd

  9. hostname: domain

  10. port    : 80

除了 urlparse() 之外,還有一個類似的 urlsplit() 函式也能對 URL 進行拆分,所不同的是, urlsplit() 並不會把 路徑引數(params) 從 路徑(path) 中分離出來。

當 URL 中路徑部分包含多個引數時,使用 urlparse() 解析是有問題的:

  1. url='http://user:[email protected]:80/path1;params1/path2;params2?query=queryarg#fragment'

  2. parsed_result=urlparse(url)

  3. print(parsed_result)

  4. print('parsed.path    :', parsed_result.path)

  5. print('parsed.params  :', parsed_result.params)

結果為:

  1. ParseResult(scheme='http', netloc='user:[email protected]:80', path='/path1;params1/path2', params='params2', query='query=queryarg', fragment='fragment')

  2. parsed.path    : /path1;params1/path2

  3. parsed.params  : params2

這時可以使用 urlsplit() 來解析:

  1. from urllib.parse import urlsplit

  2. split_result=urlsplit(url)

  3. print(split_result)

  4. print('split.path    :', split_result.path)

  5. # SplitResult 沒有 params 屬性

結果為:

  1. SplitResult(scheme='http', netloc='user:[email protected]:80', path='/path1;params1/path2;params2', query='query=queryarg', fragment='fragment')

  2. split.path    : /path1;params1/path2;params2

若只是要將 URL 後的 fragment 標識拆分出來,可以使用 urldefrag() 函式:

  1. from urllib.parse import urldefrag

  2. url = 'http://user:[email protected]:80/path1;params1/path2;params2?query=queryarg#fragment'

  3. d = urldefrag(url)

  4. print(d)

  5. print('url     :', d.url)

  6. print('fragment:', d.fragment)

結果為:

  1. DefragResult(url='http://user:[email protected]:80/path1;params1/path2;params2?query=queryarg', fragment='fragment')

  2. url     : http://user:[email protected]:80/path1;params1/path2;params2?query=queryarg

  3. fragment: fragment

組建URL

ParsedResult 物件和 SplitResult 物件都有一個 geturl() 方法,可以傳回一個完整的 URL 字串。

  1. print(parsed_result.geturl())

  2. print(split_result.geturl())

結果為:

  1. http://user:[email protected]:80/path1;params1/path2;params2?query=queryarg#fragment

  2. http://user:[email protected]:80/path1;params1/path2;params2?query=queryarg#fragment

但是 geturl() 只在 ParsedResult 和 SplitResult 物件中有,若想將一個普通的元組組成 URL,則需要使用 urlunparse() 函式:

  1. from urllib.parse import urlunparse

  2. url_compos = ('http', 'user:[email protected]:80', '/path1;params1/path2', 'params2', 'query=queryarg', 'fragment')

  3. print(urlunparse(url_compos))

結果為:

  1. http://user:[email protected]:80/path1;params1/path2;params2?query=queryarg#fragment

相對路徑轉換絕對路徑

除此之外,urllib.parse 還提供了一個 urljoin() 函式,來將相對路徑轉換成絕對路徑的 URL。

  1. from urllib.parse import urljoin

  2. print(urljoin('http://www.example.com/path/file.html', 'anotherfile.html'))

  3. print(urljoin('http://www.example.com/path/', 'anotherfile.html'))

  4. print(urljoin('http://www.example.com/path/file.html', '../anotherfile.html'))

  5. print(urljoin('http://www.example.com/path/file.html', '/anotherfile.html'))

結果為:

  1. http://www.example.com/path/anotherfile.html

  2. http://www.example.com/path/anotherfile.html

  3. http://www.example.com/anotherfile.html

  4. http://www.example.com/anotherfile.html

查詢引數的構造和解析

使用 urlencode() 函式可以將一個 dict 轉換成合法的查詢引數:

  1. from urllib.parse import urlencode

  2. query_args = {

  3.    'name': 'dark sun',

  4.    'country': '中國'

  5. }

  6. query_args = urlencode(query_args)

  7. print(query_args)

結果為:

  1. name=dark+sun&country=%E4%B8%AD%E5%9B%BD

可以看到特殊字符也被正確地轉義了。

相對的,可以使用 parse_qs() 來將查詢引數解析成 dict。

  1. from urllib.parse import parse_qs

  2. print(parse_qs(query_args))

結果為:

  1. {'name': ['dark sun'], 'country': ['中國']}

如果只是希望對特殊字符進行轉義,那麼可以使用 quote 或 quote_plus 函式,其中 quote_plus 比 quote 更激進一些,會把 :/ 一類的符號也給轉義了。

  1. from urllib.parse import quote, quote_plus, urlencode

  2. url = 'http://localhost:1080/~hello!/'

  3. print('urlencode :', urlencode({'url': url}))

  4. print('quote     :', quote(url))

  5. print('quote_plus:', quote_plus(url))

結果為:

  1. urlencode : url=http%3A%2F%2Flocalhost%3A1080%2F%7Ehello%21%2F

  2. quote     : http%3A//localhost%3A1080/%7Ehello%21/

  3. quote_plus: http%3A%2F%2Flocalhost%3A1080%2F%7Ehello%21%2F

可以看到 urlencode 中應該是呼叫 quote_plus 來進行轉義的。

逆向操作則使用 unquote 或 unquote_plus 函式:

  1. from urllib.parse import unquote, unquote_plus

  2. encoded_url = 'http%3A%2F%2Flocalhost%3A1080%2F%7Ehello%21%2F'

  3. print(unquote(encoded_url))

  4. print(unquote_plus(encoded_url))

結果為:

  1. http://localhost:1080/~hello!/

  2. http://localhost:1080/~hello!/

你會發現 unquote 函式居然能正確地將 quote_plus 的結果轉換回來。

赞(0)

分享創造快樂

© 2021 知識星球   网站地图