歡迎光臨
每天分享高質量文章

什麼是網絡爬蟲?網絡爬蟲如何工作? | Linux 中國

作為一個狂熱的互聯網人,你在生活中一定遇到過網絡爬蟲(Web Crawler)這個詞。那麼什麼是網絡爬蟲,誰使用網絡爬蟲?它是如何工作的?讓我們在本文中討論這些。
— Rishabh Kandari


本文導航
編譯自 | http://www.theitstuff.com/web-crawler-web-crawlers-work 
 作者 | Rishabh Kandari
 譯者 | geekpi

作為一個狂熱的互聯網人,你在生活中一定遇到過網絡爬蟲Web Crawler這個詞。那麼什麼是網絡爬蟲,誰使用網絡爬蟲?它是如何工作的?讓我們在本文中討論這些。

什麼是網絡爬蟲?

web crawler source code sync

網絡爬蟲Web Crawler也被稱為網絡蜘蛛web-spider是一個在互聯網中訪問不同網站的各個頁面的互聯網軟體或者機器人。網絡爬蟲從這些網頁中檢索各種信息並將其儲存在其記錄中。這些抓取工具主要用於從網站收集內容以改善搜索引擎的搜索。

誰使用網絡爬蟲?

大多數搜索引擎使用爬蟲來收集來自公共網站的越來越多的內容,以便它們可以向用戶提供更多相關內容。

search engines use web crawlers

許多商業機構使用網絡爬蟲專門搜索人們的電子郵件地址和電話號碼,以便他們可以向你發送促銷優惠和其他方案。這基本上是垃圾郵件,但這是大多數公司創建郵件串列的方式。

黑客使用網絡爬蟲來查找網站檔案夾中的所有檔案,主要是 HTML 和 Javascript。然後他們嘗試通過使用 XSS 來攻擊網站。

網絡爬蟲如何工作?

網絡爬蟲是一個自動化腳本,它所有行為都是預定義的。爬蟲首先從要訪問的 URL 的初始串列開始,這些 URL 稱為種子。然後它從初始的種子頁面確定所有其他頁面的超鏈接。網絡爬蟲然後將這些網頁以 HTML 文件的形式儲存,這些 HTML 文件稍後由搜索引擎處理並創建一個索引。

網絡爬蟲和 SEO

網絡爬蟲對 SEO,也就是搜索引擎優化Search Engine Optimization有很大的影響。由於許多用戶使用 Google,讓 Google 爬蟲為你的大部分網站建立索引非常重要。這可以通過許多方式來完成,包括不使用重覆的內容,併在其他網站上具有盡可能多的反向鏈接。許多網站被認為是濫用這些技巧,最終被引擎列入黑名單。

robots.txt

robots.txt 是爬蟲在抓取你的網站時尋找的一種非常特殊的檔案。該檔案通常包含有關如何抓取你的網站的信息。一些網站管理員故意不希望他們的網站被索引也可以通過使用 robots.txt 檔案阻止爬蟲。

總結

爬蟲是一個小的軟體機器人,可以用來瀏覽很多網站,並幫助搜索引擎從網上獲得最相關的資料。


via: http://www.theitstuff.com/web-crawler-web-crawlers-work

作者:Rishabh Kandari[2] 譯者:geekpi 校對:wxy

本文由 LCTT 原創編譯,Linux中國 榮譽推出

LCTT 譯者

geekpi ? ?
共計翻譯:654 篇
貢獻時間:1569 天


推薦文章

< 左右滑動查看相關文章 >

點擊圖片、輸入文章 ID 或識別二維碼直達

赞(0)

分享創造快樂